Разработка системы мониторинга публикаций

Задачи в части разработки парсеров:

• Разработать парсеры сайтов по списку, к примеру, publication.pravo.gov.ru, regulation.gov.ru.

• Оценить работоспособность и доработать парсеры сайтов по списку.

Задачи в части разработки интерфейса и функционала:

• Разработать интерфейс (пример реализации интерфейса, а также детальное описание в проекте ТЗ), элементы в рамках одного окна: лента публикаций, отображение содержания публикации, клавиши фильтрации публикаций и пр.

• Разработать инструменты выгрузки публикаций (пример реализации выгрузки в проекте ТЗ) в формате текстового файла с включением в выгрузку вложений (документы, изображения), а также маркировкой упоминаний кл. слов.

Во вложении выдержки из проекта ТЗ в части списка источников, реализации интерфейса.


Специфика сбора информации:

• Сбор текстовой информации (заголовок, подзаголовок, текст публикации), сбор вложений (документы, изображения).

• Мониторинг отслеживания изменений в рамках публикаций (к примеру, появление нового документа и пр.)

В проекте ТЗ описаны (по запросу):

• Списки сайтов-источников, по которым требуется разработать и доработать парсеров.

• Примеры ошибок работоспособности парсеров.

• Требования к парсингу наиболее сложных сайтов-источников (скрин публикации, пометка областей сбора данных).

• Пример реализации интерфейса, а также детальное описание элементов интерфейса.

• Пример реализации выгрузки в текстовом формате.

Справочно, частично задачи реализованы, система включает:

• база данных материалов, загруженных в систему (в ручном режиме или посредством парсеров), база парсеров,

• подсистема распознавания файлов (PDF, Word, Excel, графических файлов),

• подсистема поиска по базе,

• подсистема генерации и рассылки отчетов,

• подсистема управления парсерами,

• подсистема мониторинга доступности и исправности парсеров.

Требования

• Знания PHP 7, основных паттернов ООП
• Опыт работы с Yii2, в частности построения приложения REST API, микросервисной архитектуры, владение встроенным в Yii функционалом валидации, хелперов.
• Знание и умение применять регулярные выражения
• Построение HTTP/CURL запросов, умение создавать классы/методы «обертки» для таких запросов
• Понимание работы фоновых процессов, работающих на PHP в режиме «демонов». Знание расширений POSIX, PCNTL
• Владение расширениями для парсинга DOM структуры html страниц, в частности: SimpleXML
• Опыт работы с нереляцинными базами данных, в частности: Redis
• Построение сложных MySQL запросов с использованием JOIN, HAVING, вложенных запросов, как на самом MySQL так и в функционале Yii2 Query Builder. Понимание связей между таблицами, внешних ключей, индексации
• Понимание принципов авторизации по токену, принцип работы Bearer Token.
• Понимание и навык использования стандартов PSR в разработке