Парсер отзывов карточки товара Wildberries на базе TG-бота
ТЗ на разработку парсера отзывов карточки товара Wildberries с использованием Telegram-бота
1. Общее описание проекта
Разработать Telegram-бота, который получает на вход артикул товара или ссылку на товар с Wildberries, осуществляет парсинг отзывов по указанному товару и выгружает результаты в виде Excel-таблицы. Таблица должна содержать следующую информацию: дата отзыва, количество звезд, текст отзыва, цвет и размер товара, имя пользователя.
2. Требования к функционалу
2.1. Input данные
- Артикул товара — уникальный числовой идентификатор товара на Wildberries.
- Ссылка на товар — полноценная URL-ссылка на страницу товара на Wildberries.
2.2. Output данные
Бот должен выгружать отзывы в Excel-таблицу, которая будет содержать следующие столбцы:
- Дата — дата публикации отзыва.
- Количество звезд — оценка товара от 1 до 5.
- Текст отзыва — содержимое отзыва.
- Цвет — цвет товара, который указал покупатель.
- Размер — размер товара, который выбрал покупатель.
- Имя — имя пользователя, который оставил отзыв.
2.3. Взаимодействие через Telegram
- Пользователь отправляет артикул или ссылку на товар через Telegram-бота.
- Бот выполняет валидацию:
- Проверяет корректность артикула (только числовой формат).
- Проверяет корректность URL (должен соответствовать формату ссылки Wildberries).
- После успешной валидации бот парсит отзывы с Wildberries.
- По завершении парсинга бот отправляет пользователю Excel-файл с выгруженными отзывами.
3. Требования к парсингу
3.1. Объект для парсинга
Отзывы товара на Wildberries. Парсер должен поддерживать извлечение:
- Всех отзывов по товару, независимо от их количества.
- Данных о цвете и размере товара, выбранных покупателем, при наличии.
3.2. Особенности парсинга
- Учесть динамическую загрузку отзывов (использование AJAX или других методов для подгрузки дополнительных отзывов).
- Использовать пагинацию для сбора всех отзывов, если они разбиты на страницы.
3.3. Частота запросов
- Необходимо предусмотреть соблюдение лимитов запросов к серверу Wildberries (например, с помощью выставления задержек между запросами).
- Обеспечить возможность обработки ошибок (например, при временной блокировке IP или отсутствии отзывов для товара).
4. Требования к структуре Telegram-бота
4.1. Команды для взаимодействия с ботом
/start
— приветственное сообщение с инструкцией./help
— справка по возможностям бота и форматам ввода.- Ввод ссылки или артикула — бот должен корректно распознавать либо ссылку, либо артикул, полученные в одном сообщении.
4.2. Ответы бота
- При успешной валидации данных — сообщение о начале парсинга.
- При ошибке валидации — сообщение с указанием причины ошибки (например, неверный формат артикула или некорректная ссылка).
- По завершении работы — отправка файла с отзывами.
5. Требования к формату Excel-таблицы
- Файл должен иметь формат
.xlsx
. - В таблице должны быть следующие столбцы:
- Дата публикации.
- Количество звезд.
- Текст отзыва.
- Цвет товара.
- Размер товара.
- Имя пользователя.
- Таблица должна содержать все отзывы по указанному товару, начиная с самых новых.
6. Технические требования
6.1. Язык программирования
6.2. Используемые библиотеки и технологии
- Для работы с Telegram API:
python-telegram-bot
, telebot
или аналогичные. - Для парсинга данных:
BeautifulSoup
, Selenium
, requests
, или другие подходящие библиотеки для обработки динамических страниц. - Для создания Excel-файла:
openpyxl
или pandas
. - Для обработки ссылок и артикула: валидация регулярными выражениями.
6.3. Инфраструктура
- Бот должен быть развернут на сервере с постоянным подключением к интернету.
- Предусмотреть возможность использования прокси-серверов для обхода блокировок.
7. Обработка ошибок
- Реализовать обработку возможных ошибок, таких как:
- Недоступность страницы товара.
- Неверный формат ссылки или артикула.
- Ошибки на сервере Wildberries (например, при временной недоступности ресурса).
- Отсутствие отзывов для товара.
В случае ошибки бот должен информировать пользователя о её причине и предложить повторить попытку.
8. Тестирование и валидация
- Провести тестирование с несколькими товарами для оценки корректности работы парсера.
- Проверить корректность выгрузки Excel-таблиц с различным количеством отзывов (от нескольких до сотен/тысяч).
9. Сроки разработки
- Разработка парсера и базового функционала бота: 10 рабочих дней.
- Тестирование и исправление ошибок: 5 рабочих дней.
10. Контактная информация
Для получения дополнительных данных или уточнения деталей, свяжитесь с заказчиком через следующие каналы:
- Telegram: shamil_bahteev
- Телефон: 89874208097
Moscow.media
Частные объявления сегодня
Заместитель управляющего ОСФР по г. Москве и Московской области Алексей Путин об индексации работающим пенсионерам
Токсиколог Кутушов назвал привычку ставить много будильников опасной для здоровья
В День солидарности в борьбе с терроризмом подмосковные росгвардейцы приняли участие в памятной акции «Вместе против террора»
Грибная охота: токсиколог Кутушов рассказал, как избежать отравления и собирать только безопасные грибы
В Москве проходят теннисные матчи юношеского турнира памяти Ю. М. Лужкова
Грибная охота: токсиколог Кутушов рассказал, как избежать отравления и собирать только безопасные грибы
Anex сделал заявление о вылетах в Хургаду и Шарм-эль-Шейх из различных городов России
Ag nee man! Christiaan Bezuidenhout the only Saffa picked for Presidents Cup
Gautam Rode reveals how he took Pankhuri Awasthy to introduce her to his friends for the first time before getting married and she didn’t ‘utter a word’
JESSE WATTERS: No one is really voting for Kamala Harris
Poll: Half of Gen Z voters support Harris, one-third back Trump
Филиал № 4 ОСФР по Москве и Московской области информирует:
В Московском регионе 11,4 тысячи пап находятся в отпуске по уходу за ребенком
Red-tailed black cockatoo
Клиенты компании «Байкал Сервис» экономят на перевозке сезонных грузов
"Нексия" въехала в столб, водитель погиб
Risk of Rain 2 creators weigh in on Gearbox's first DLC without them: 'It's great to see new content for the game, but it's hard to see growing pains of the new team in real time'
Дедушка Мороз, ты подарки нам принес? 1.22.1
1 млн предрегистраций на Nigoriri Angels on Stage и релиз на этой неделе
Spectre Divide launches with outrageous $90 gun skins out the gate, which only makes its broken matchmaking more annoying
Сотрудники Росгвардии задержали нетрезвого водителя в подмосковных Люберцах
Сотрудники Росгвардии задержали нетрезвого водителя в подмосковных Люберцах
Встроенный шкаф на заказ от производителя в Санкт-Петербурге
В День солидарности в борьбе с терроризмом подмосковные росгвардейцы приняли участие в памятной акции «Вместе против террора»
В Петербурге вырос спрос на курсы по программированию
Встроенный шкаф на заказ от производителя в Санкт-Петербурге
В ЕС обвинили Германию в желании укрепить отношения с Россией
Синоптик Вильфанд предупредил россиян о заморозках 5 сентября
Андрей Воробьев отметил высокую загрузку участковых педиатров
Эксперт Шахвеледов предупредил россиян об опасности тренда на пирсинг дома
Выставка «Я ты мы другое»
Что говорят воронежские соседи арестованного генерала Минобороны РФ
Первая ракетка мира Синнер вышел в четвертьфинал US OPEN, где сыграет против Медведева
Медведев о матче с Синнером: «Постараюсь больше думать об «Уимблдоне», чем об Australian Open»
Серена Уильямс ответила, планирует ли возвращаться в WTA-тур
Теннисист Рублев проиграл Димитрову в матче четвертого круга US Open
Стройготовность новой школы в Реутове составила свыше 70%
Жилой комплекс, детский сад и технопарк: какой станет часть промзоны Коптево после реорганизации
Выставка «Я ты мы другое»
Эксперт Шахвеледов предупредил россиян об опасности тренда на пирсинг дома
Музыкальные новости
Композиции Исаака Дунаевского, Булата Окуджавы и стихи Роберта Рождественского прозвучат на театрализованном вечере «Линии жизни» в Мариинском театре
Хорошо провели время вместе: беременная певица Карди Би воссоединилась с бывшим мужем ради сына
«Алкоголь напрочь убивает разум»: актер Шевченков подрался с Сергеем Шнуровым
Гитарист легендарной группы Queen Брайан Мэй перенес инсульт
Сотрудники Росгвардии задержали нетрезвого водителя в подмосковных Люберцах
Встроенный шкаф на заказ от производителя в Санкт-Петербурге
Сотрудники Росгвардии задержали нетрезвого водителя в подмосковных Люберцах
В День солидарности в борьбе с терроризмом подмосковные росгвардейцы приняли участие в памятной акции «Вместе против террора»
Путин после Монголии прибыл во Владивосток для участия в ВЭФ
Спорт и игры: какие мероприятия «Москвы 2030» популярны у семей участников СВО
Теннисный турнир в честь Ю. М. Лужкова: финальные матчи и награждение впереди
Грибная охота: токсиколог Кутушов рассказал, как избежать отравления и собирать только безопасные грибы
Сотрудники Росгвардии задержали нетрезвого водителя в подмосковных Люберцах
Сотрудники Росгвардии задержали нетрезвого водителя в подмосковных Люберцах
В Касимовском районе два человека пострадали в ДТП с мотоциклом
Сотрудники Росгвардии задержали нетрезвого водителя в подмосковных Люберцах
Путин пригласил президента Монголии на празднования по случаю 80-летия Победы
Путин: Россия ждет расширение сотрудничества при председательстве Малайзии в АСЕАН
Монгольские школьницы спели Путину на русском «По малину в сад пойдем»
Политолог Ткаченко: Россия готова инвестировать в экономику Монголии и потеснить в некоторых отраслях США и Южную Корею
В Ростовской области продолжает расти заболеваемость ковидом
Более 5 тыс. случаев заболевания COVID-19 выявлено в столице за неделю
Почти 5 тысяч заболевших COVID-19 выявили в столице за неделю
Пластический хирург Мадина Байрамукова: с помощью каких бьюти-средств можно подтянуть грудь
Большинство опрошенных россиян планируют в ближайший год заняться полным обследованием здоровья — опрос
Долголетие в радость: большинство россиян ухаживают за своими пожилыми родственниками самостоятельно
Источник 360.ru: в Москве мужчина со сломанной ногой повис на заборе у больницы
«Последний шанс убедить Байдена развязать Киеву руки»: The Economist о поездке Зеленского в Штаты
В Киеве призвали отправить Зеленского в отставку
«Не представляю, как русские будут это переносить». Вратарь сборной Вьетнама — о возможном переходе РФС в Азию
В Москве проходят теннисные матчи юношеского турнира памяти Ю. М. Лужкова
Конкурс «Московская A Cappella» объединил более 1,6 тысячи артистов со всего мира
Дыбленко: в КХЛ зрелищный хоккей, уровень клубов плей-офф не упал
В Минске помилованы осужденные за протестные преступления
Запущено движение по дороге от Большой Филевской улицы до ТТК в Москве – Сергей Собянин
Сергей Собянин рассказал о развитии речного электротранспорта Москвы
Собянин рассказал о работе платформы «Город идей»
Собянин: Запущено движение на участке от Большой Филевской улицы до ТТК
Запущено движение по дороге от Большой Филевской улицы до ТТК в Москве – Сергей Собянин
Инго Экосистема и Ингосстрах Банк обновили категорию повышенного кешбэка
Жителям Подмосковья сообщили о пожарной обстановке в лесах на 3–5 сентября
"На нас надвигается волна аномального холода": погода с 5 сентября заставит достать куртки, температура упадет вниз
Мария Захарова: Провокации в отношении миротворцев и россиян в Приднестровье Москва будет считать атакой на РФ
Эксперт Шахвеледов предупредил россиян об опасности тренда на пирсинг дома
Путин согласился упростить иностранцам визы для посещения Дальнего Востока
Мигранта задержали за приставания к 12-летней девочке в лифте в Москве
Выставка о ботанических садах усадьбы Архангельское началась в Красногорске
Архангельские работодатели жалуются на старение населения в регионе
ТСД SAOTRON RT41 GUN: практичный, производительный, надёжный
Близкая Арктика: что посмотреть в Архангельской области
Вечер-аншлаг «Он жил, как песня, что длиною в жизнь»
Выставка-обращение «Наш мир без террора»
Выставка крымского имени «Тайны души и творчества Алемдара Караманова»
1 и 2 сентября филиал РТРС «РТПЦ Республики Мордовия» и Министерство образования Республики Мордовия проведут совместную акцию, приуроченную ко Дню знаний и началу нового учебного года.
Мария Захарова: Провокации в отношении миротворцев и россиян в Приднестровье Москва будет считать атакой на РФ
Ретрокалендарь: от последнего Великого географического открытия до сверхдальнего перелёта Ту-104А
Росгвардейцы Подмосковья задержали нетрезвого водителя в Люберцах
Житель Самарканда, агитировавший за восстановление СССР, получил ограничение свободы