Добавить новость
ru24.net
Работа
Декабрь
2024

Загрузка контента третьего сайта на своем домене, модификация realtime

0
Нужно разработать серверную систему загрузки контента третьих сайтов на основе прокси и модификации контента в реальном времени.

- Когда юзер заходит на домен, сервер не хостит контент, а динамически подгружает и показывает контент с другого указанного админом сайта.
- Админ указывает в конфиге текст, который должен быть спарсен и изменен или заблокирован в реальном времени, незаметно для юзера. В конфиге указывается какие страницы сайта должны быть полностью заблокированы и/или правила замены текста.
- Подгружаемый контент незаметно модифицируется согласно правилам и шаблонам и показывается юзеру.
- При изменении конфиг файлов, правила отображение сайта обновляются в реальном времени.
- В зависимости от правил третьих сайтов и сложности задач по парсингу, разработчик продолжает поддержку продукта и предоставляет услугу создания конфигов под отдельный сайт. В любом случае, понадобится понятный формат конфиг файлов и мануал.

Возможные варианты реализации из ChatGPT:

- NGINX Reverse Proxy, HTTP Proxy.
- Проксификаторы, DOM парсеры и модификаторы под: Python (BeautifulSoup), Node.js (http-proxy-middleware, Cheerio), Lua (nginx, OpenResty), Golang (httputil.ReverseProxy, goquery).
- YAML для конфиг файлов. Отслеживание изменений конфиг файлов: Python (watchdog), Node.js (chokidar).
- Возможно даже клауд решения - Cloudflare Workers.



Moscow.media
Частные объявления сегодня





Rss.plus




Спорт в России и мире

Новости спорта


Новости тенниса
ATP

Рублёв выпадет из топ-8 после поражения на турнире ATP в Гонконге






Глава ФТР Тарпищев заявил, что "Спартаку" нужно усилить центр защиты

В Гидрометцентре спрогнозировали похолодание и гололедицу в Москве 3 января

Замглавы академии Вешкину предъявили обвинение в получении взятки в крупном размере

Росавиация расследует инцидент с выкатившимся за пределы ВПП Airbus в Норильске