Добавить новость
ru24.net
Все новости
Август
2024

Скрипт для скачивания содержимого страницы с сайта mid.ru

0
Нужно создать скрипт на NodeJs 18 скачивающий html содержимое страницы https://mid.ru/ru/foreign_policy/news/ для последующего парсинга новостей
1. Должен быть выполнен в виде Typescript класса. У класса должен быть метод - getContent(): strng, возвращающий html с новостями. Этот метод должен генерировать исключение в случае таймаута получения страницы.
2. Простой способ скачивания этого url не работает. Создатели сайта сделали защиту от ботов. Нужно полностью эмулировать работу браузера для получения содержимого
3. Код должен работать на VPC сервере с Ubuntu 20 без UI интерфейса. Т.е. браузер там не установлен
4. Код будет запускаться на VPC сервере внутри России



Moscow.media
Частные объявления сегодня





Rss.plus




Спорт в России и мире

Новости спорта


Новости тенниса
ATP

Во Франции на теннисном турнире ATP показали флаг России






Посол Моргулов: Россия и Китай едины в непринятии попыток переписывания истории

В Подмосковье ввели алгоритм выявления нарушителей чистоты и порядка во дворах

Bloomberg: российская экономика выросла благодаря главе Центробанка Набиуллиной

В Кремле сообщили о плане Путина посетить Китай на годовщину победы над Японией