Парсинг rss ссылок и веб страниц
Есть микросервис на python, который должен парсить около 17000 rss ссылок.
Каждая rss ссылка хранит ссылку на сайт. Большинство сайтов имеют общую структуру и нужны данные лежат в мета тэгах.
На данный момент нужно улучшить работу парсера.
Задача:
Нужно парсить сайт, который указан в rss ссылке и сохранять следующую информацию
1. Название статьи
2. Авторы
3. Дата публикации
4. Ссылка на картинку
5. Абстракт(короткое описание)
Вся информация берется только из метатэгов.
Основная проблема - иногда метатэг хранит обрезанный абстракт. Нужно брать обрезанный абстракт и искать в остальной странице недостающий кусок текста. Сейчас это уже реализовано, но работает плохо
Для понимания концепции можно скачать приложение для android из playmarket - Allpapers
Бюджет указан приблизительный
В отклике укажите телеграм
Читайте также:
Вчера 20:40
Вчера 21:12
Вчера 19:12
Вчера 20:14
Moscow.media Частные объявления сегодня
«1418»: выставка секции «Арт-фото» ТСХР в зале «Лаврушинский`15»
Шапки женские вязаные на Wildberries, 2024 — новый цвет от 392 руб. (модель 466)
звезды шоу-бизнеса посетили весеннюю неделю моды estet fashion week
Более 100 студентов посетило СЛД Курск в рамках акции «Неделя без турникетов»
Токсиколог Кутушов рассказал почему возникает похмелье
Добраться до курортов Сочи станет этим летом намного дороже: озвучена причина и новые цены
УЛЁТНОЕ ВИДЕО С УЛЁТНЫМИ ЖИВОТНЫМИ!
За какими шедеврами едут в деревню Ковалёво Нижегородской области
As residents complain of strong odors, Carroll officials pass moratorium on DAF storage
Paige Spiranac puts on busty display in plunging top as she lists the ‘things that drive me crazy’
Ryan Poles Needs A Last-Minute Review Of His Quarterback Scouting Notes To Ensure Nothing Is Missed
Ramon Cardenas aims to cement his contender status agains Jesus Ramirez Rubio tonight
Музеи Твери. Императорский путевой дворец.
До 17 лет тюрьмы – автоподставщики и страховые мошенники всё реже уходят от ответственности в Хабаровском крае
ИТ Альянс объявляет о графике работы в майские праздники
Химик рассказала, какие витамины и БАДы усваиваются в масляной форме
Для мобильного шутера Nebula Rangers проходит бета-тест на Android
Шапки женские вязаные на Wildberries, 2024 — новый цвет от 392 руб. (модель 466)
Garry's Mod is removing 20 years' worth of Nintendo-related items from its Steam Workshop following takedown request: 'It's Nintendo. Need more be said?'
Here's what god rolls you should be farming for Destiny 2: Into the Light's Brave Arsenal weapon set
Рушникосушки від Hygge Family: європейські стандарти якості на українському ринку
Магазин дверей і підлогового покриття Albero: якісна продукція для кожного клієнта
Охорона і Безпека це ОіБ: замовляй охорону в Києві та Харькові
Что можно отметить в этот день
«1418»: выставка секции «Арт-фото» ТСХР в зале «Лаврушинский`15»
звезды шоу-бизнеса посетили весеннюю неделю моды estet fashion week
Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)
Подключение системы отопления в Московской области
Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)
Байден заявил о стремлении вернуть Гершковича и Уилана
Лотерея, мастер-классы и шоу. В Москве пройдет фестиваль «Пасхальный дар»
Выставка к 100-летию художника Юлия Рачёва открылась во Владивостоке
Синоптики спрогнозировали облачную погоду в Москве 28 апреля
Лотерея, мастер-классы и шоу. В Москве пройдет фестиваль «Пасхальный дар»
Блогер Асхаб Тамаев попал в ДТП около Москва-Сити
Линетт сыграет против Соболенко во втором круге турнира WTA в Мадриде
Елена Рыбакина рассказала о проблемах на турнире в Мадриде
Свёнтек разгромила Кырстю и вышла в 1/8 финала турнира WTA-1000 в Мадриде
В Большом театре наградили победителей специальной премии «Золотой Маски»
Синоптики спрогнозировали облачную погоду в Москве 28 апреля
Михаил Кокляев провёл разминку для гостей выставки «Россия»
Байден: США делают все возможное для возвращения Гершковича и Уилана
Музыкальные новости
«Это не бомжовые заведения»: 72-летний Александр Розенбаум зарабатывает миллионы на пивном бизнесе
В Москве наградили победителей Международного профессионального конкурса НОПРИЗ на лучший проект – 2023
В Воткинске 7 мая отметят День рождения Петра Чайковского
Концерт «Стихи войны и мира. Баллада о своих»
Андрей Воробьев: «День добрых дел» объединил учащихся Подмосковья
Что можно отметить в этот день
звезды шоу-бизнеса посетили весеннюю неделю моды estet fashion week
«1418»: выставка секции «Арт-фото» ТСХР в зале «Лаврушинский`15»
Улан-Удэнский ЛВРЗ подвел производственные итоги первого квартала 2024 года
В аварийном доме в Забайкалье, которым интересовался Бастрыкин, заколотили подъезды
«Спартак» лидирует по очкам с командами из первой половины РПЛ
Каршеринг BelkaCar и картографический сервис 2ГИС запустили серию совместных маршрутов
Сотрудники Росгвардии задержали автомобилиста с наркотиками в Москве
Блогер Асхаб Тамаев попал в ДТП в районе "Москва-Сити"
Блогер Асхаб Тамаев попал в ДТП около Москва-Сити
Мост в Лыткарино готовят к укладке асфальта
Путин поздравил Леонида Рошаля с днем рождения
Петербургский автопром вышел из кризиса, заявил Беглов
Поведение Путина вызвало резонанс, потерянные в 90–е заводы возвращаются РФ
Продюсера Reuters арестовали за публикацию материалов на YouTube-канале «НавальныйLIVE»
Дух разделения в Святой Руси, или Можно ли лишиться сана за отпевание Навального*
Басманный суд Москвы арестовал продюсера Reuters Константина Габова за помощь ФБК в подготовке материалов
Диетолог Соломатина предупредил об обилии сахара в покупных куличах
Учитель из Бутово стала «Гуру физкультуры»
Школьница из Бутово придумала приложение для детей и взрослых «Твой ортодонт»
В День Медика пройдет премия в области здоровья The Medical Stars & Beauty Awards
Учитель из Бутово стала «Гуру физкультуры»
Спортсменка из Бутово выиграла «золото» на турнирах по художественной гимнастике
Команда Орловской области стала победителем хоккейного турнира среди команд Черноземья
В Москве завершился Кубок России по спортивному программированию
Это - война: литовские беспилотники попытались атаковать Минск
Собянин: С 28 апреля до 12 мая городские службы будут работать в усиленном режиме
Собянин заявил о победе столичных проектов на премии «Умный город»
Собянин: В столице открыт сезон фонтанов
Собянин: в Москве начался сезон фонтанов
Концентрация песка в городском воздухе возвращается к обычным значениям
Труп мужчины найден в лесопарковой зоне в Сокольниках
Huawei представила IDS на 26-м Всемирном энергетическом конгрессе
Учения по ликвидации лесных пожаров прошли в Богородском округе
Врач порекомендовал идеальные напитки для шашлыков
The Telegraph сообщила о планах Британии создать собственные ракеты к 2030 году
Михаил Кокляев провёл разминку для гостей выставки «Россия»
Над Соловьёво поднят российский флаг, штурмовые группы ВС России замечены на окраинах Архангельского
Калининградские каратисты показали способности на чемпионате СЗФО
Лиды для фрилансеров Golubinbot
Калининградские каратисты отличились на первенстве СЗФО в Архангельске
Крымские проекты победили в Международном профессиональном конкурсе НОПРИЗ на лучший проект – 2023
Литературно-поэтический час «Ушла на фронт ещё девчонкой...»
Два матча чемпионата Крыма по футболу перенесли из-за массового отравления
В Крыму прошли «Большие гастроли» к 10-летию воссоединения полуострова с Россией
Михаил Кокляев провёл разминку для гостей выставки «Россия»
Синоптики спрогнозировали облачную погоду в Москве 28 апреля
Байден: США делают все возможное для возвращения Гершковича и Уилана
Выставка к 100-летию художника Юлия Рачёва открылась во Владивостоке
