Предметом разработки являются четыре модуля:

1. Web панель настройки загрузчика
2. Загрузчик объявлений с https://e-disclosure.ru/ (с использованием официального API).
3. Web панель настройки модуля извлечения именованных сущностей (NER).
4. Модуль извлечения именованных сущностей (NER).
   

Данное описание описывает концепцию и основные функциональные блоки.



Посмотреть диаграмму на отдельной вкладке

Web панель настройки загрузчика

Основные требования:

1. Настройки подключения (идентификаторы, ключи и т.п.)
2. Интерфейс настройки компаний, публикации которых подлежат загрузки.
3. Интерфейс мониторинга активности
   
   1. Последнее время загрузки.
   2. Кол-во полученный сообщений за выбранный период
      

Загрузчик объявлений

Основные требования:

1. Непрерывная работа
2. Учёт параметров загрузки публикаций без перезагрузки (периодическая проверка конфигурации и учёт изменений в ней)
3. Минимизация времени задержки получения публикаций
4. Передача полученных сообщений в очередь (предположительно в Apache Kafka)
   

Web панель настройки модуля извлечения именованных сущностей (NER)

1. Ввод и редактирование правил извлечения.
2. Интерфейс песочницы для тестирования правил. Интерфейс предлагает поле для ввода текста, выбора набора правил и вывод результата их применения.

Извлечение именованных сущностей (NER)

Требуется разработать алгоритм или модель для извлечения сумм и дат. Задача состоит в создании программного решения, которое автоматически сканирует входные тексты и извлекает значения, удовлетворяющие правилам.

Основные требования и задачи:

1. Собрать и подготовить тренировочный набор данных, содержащий разнообразные примеры публикаций с известными значениями наименования компании, дат и сумм.
2. Разработать алгоритм или модель, используя регулярные выражения, подходы машинного обучения или обработки естественного языка, которая сможет извлечь искомые значения из текстов публикаций с минимизацией времени исполнения и максимизации качества извлечения.
3. Протестировать разработанное решение на тренировочном наборе данных и оценить его точность и эффективность.
4. Написать инструкцию по развёртыванию в нужном окружении.
5. Предоставить документацию с описанием алгоритма, модели или программного решения, а также инструкции по его использованию.
   

Общие требования к модулям

1. Логирование существенно значимых операций.
2. Отправки данных об исключений в Sentry.
3. .NET Core (C#) или Python.
4. Инструкции по развёртыванию и обновлению.