Спарсить описания файлов драйверов с сайта производителя
Нужно спарсить данные с сайта производителя оборудования используя инфраструктуру модуля на Yii2. Скелетон модуля с рабочим примером для AMD. Интересуют все производители присутствующие на рынке.
Описание Модуль состоит из двух частей- Парсер и сохранение информации в БД
- Админка ассоциации данных
Для упрощения развёртывания используется vagrant. Система контроля версий Git.
Требования к парсеру - Консольные команды сущностей разделены, если это возможно. Категории, страницы продукта, список файлов - это три разные консольные команды
- Повторный запуск команды не приводит к удалению информации, а лишь обновляет её. Особенно это важно по хранению сущностей основного проекта
- Все данные получаемые от производителя кэшируется "как есть", это позволяет перенастраивать парсер без необходимости повторной закачки данных
- Чтобы парсинг данных можно было легко перенастраивать для разбора используется DOM модель документа
Требования к админке - Реализовать ассоциации сущностей: типы оборудования, операционные системы, типы файлов, серии продукта, продукты
- Типы оборудования и серии на выводе сводить к дереву
Зависимости и технический стек - php >= 7.2
- mariadb >= 10.2
- Yii > 2.15.0
Что уже решено в скелетоне - Тестовый рабочий код на примере парсера AMD
- Организация и подключение модуля Yii2
- Обертка для работы с DOM делающая работу с DOM удобнее: https://github.com/bezdelnique/parser-toolbox
- Все взаимодействие с источником данных вынесено в отдельный класс: helpers/Downloader.php
- Реализация массовых вставок в БД с сохранением данных при помощи класса EntitiyBulk
- В админке реализован ассоциатор для дерева категорий и остальных сущностей
Подробное описание требований
Moscow.media
Частные объявления сегодня
В Москве ежегодно состоялся юбилейный, всероссийский, патриотический гала-концерт «Проза и поэзия» «Россия - семья семей»
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Подведены итоги конкурса «Мы верим твердо в героев спорта»
В Москве ежегодно состоялся юбилейный, всероссийский, патриотический гала-концерт «Проза и поэзия» «Россия - семья семей»
Желдорреммаш определил лучших работников локомотиворемонтных заводов 2024 года
В Москве пройдёт гастрономический фестиваль «Русская кухня»
Осень или организм: врач объяснил, кто виноват в усиленном выпадении волос
Очень модный гардероб для этой осени: примеры образов
Every time we go on holiday my husband ogles other women on the beach
Raging Richarlison slams ‘f***ing s***’ card as Tottenham star’s EA FC 25 rating is revealed
Marin schools proactive on state cellphone restrictions
Elle King shares major life update after opening up about 'toxic' relationship with dad Rob Schneider
В «Деловых Линиях» рассказали о росте спроса на интеграционные решения более чем в 3 раза
ТСД SAOTRON RT41 GUN: практичный, производительный, надёжный
Heroje H288BW- портативный сканер штрих-кодов с интерфейсом Bluetooth
Мультиплеерный данжен-кроулер Greedy Wizards: Speed Dungeon вышел в новой стране на iOS и Android
Ранняя версия Mini Empire: Hero Never Cry с русским языком доступна в Google Play
Мафия-НН: Густой аромат армянского кофе наполнил воздух старательно украшенной гостиной.
Кровь, кишки и всё такое в трейлере новых добиваний для Mortal Kombat 1
Терапевт Кондрахин посоветовал идти к врачу при наличии болей в грудной клетке
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Подведены итоги конкурса «Мы верим твердо в героев спорта»
В Москве ежегодно состоялся юбилейный, всероссийский, патриотический гала-концерт «Проза и поэзия» «Россия - семья семей»
Новая глава старой сказки: худрук шоу «Король и Шут» рассказал о союзе симфонической музыки и панк-рока
Заммэра Москвы Ефимов: в СВАО по КРТ построят жильё, гостиницу и медцентры
Певица Натали Орли вернулась к истокам
В Петербурге приближают реновацию жилья
Фанаты Гарри Поттера почтили память актрисы Мэгги Смит у «Хогвартса»
Стоит ли отдавать ребенка в частную школу?
Россияне ищут свою "Италию": эксперт о привлечении туристов в Томск
Стало известно, кто из россиян примет участие в турнире ATP-500 в Вене в конце октября
Томми Пол уступил Томашу Махачу во втором круге турнира ATP-500 в Токио
Рахимова обыграла Биррелл и вышла во второй круг WTA 1000 в Пекине
Зарина Дияс может встретиться с Ариной Соболенко на топовом турнире
Ефимов: неэффективно используемые участки в СВАО реорганизуют по программе КРТ
Что там в IT: Xiaomi снова в России, производство LADA e-Largus, Telegram изменил принципам
Погубят урожай в следующем году: две самые частые ошибки дачников во время осенних работ на огороде
Почему Bjorn Larsen — лучший выбор для зимы?
Музыкальные новости
В театре драмы - премьера - "Матросская тишина" по пьесе Александра Галича
Баста въезжает в новый сезон своего шоу МС Taxi на «бентли» в компании MIRAVI.
Вячеслав Бутусов, Бьянка, Надежда Ангарская и другие. 10 лучших концертов и выступлений этой осени в Якутске
Певец Алексей Глызин призвал молиться о здоровье госпитализированного Добрынина
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Стоит ли отдавать ребенка в частную школу?
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Стоит ли отдавать ребенка в частную школу?
Metallica — Harvester Of Sorrow (Москва, Тушино, 28.09.1991)
Дистрибьюция Музыки. Дистрибьюция Музыки в России. Дистрибьюция музыки в вк. Яндекс музыка дистрибьюция. Цифровая дистрибьюция музыка. Дистрибьюция музыки под ключ.
Выставка-ярмарка открылась в Пскове в рамках фестиваля «Книжная яблоня»
В Пензенской области военнослужащие Росгвардии встретились с народным артистом России Олегом Газмановым
Филиал № 4 ОСФР по Москве и Московской области информирует:
Гражданам Москвы и Московской области, получившим тяжелые производственные травмы, выданы автомобили марки «Лада Гранта»
Автомобили с 1 октября подорожают из-за новых ставок утильсбора
С 1 ноября изменится стоимость парковки на ряде улиц Москвы
Эксперт Фиронов рассказал, что будет с ценами на авто с 1 октября
Политический директор премьера Венгрии: наша страна сдалась бы в случае
Американская разведка предупредила Байдена: Путин не пошутил, Зеленский тянет нас в ад
Рябков: Россия фиксирует реакцию Запада на изменения своей ядерной политики
Рябков назвал «развернутой» реакцию Запада на заявления по ядерной доктрине РФ
Терапевт Кондрахин посоветовал идти к врачу при наличии болей в грудной клетке
Председатель СК России поручил возбудить дело после нападения мигранта на врачей в Москве
«Затруднилось дыхание, опустилось веко»: россиянка заразилась ботулизмом после приема у косметолога
Педагогов обучат навыкам первой медицинской помощи
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Лукашенко дал ответ на вопрос, в каком случае Минск применит ядерное оружие
«Россия за нас втягивается…» Лукашенко грозит НАТО ядерным оружием
Александр Лукашенко анонсировал название для 2025 года и всей пятилетки, у студентов было другое предложение
Как только НАТО нападет на Беларусь, будет применено ядерное оружие – Лукашенко
Сергей Собянин заявил о продлении наземного метро Москвы в Тульскую область
Собянин: МЦД продлят до Калужской, Смоленской, Тульской и Ярославской областей
«В ближайшие регионы»: Собянин анонсировал продление МЦД до четырёх областей
Сергей Собянин. Главное за день
В царстве растений. Самая большая коллекция магнолий в России собрана в Гагаринском районе
Под Симферополем продолжается строительство нового крупного микрорайона
«Чистая Арктика» разработает стандарт сбора и вывоза отходов из удаленных мест
Первое армянское название в Москве
Фанаты Гарри Поттера почтили память актрисы Мэгги Смит у «Хогвартса»
Истребители ЦАХАЛ возобновили атаки на объекты «Хезболлы» в пригородах Бейрута
Захарова: РФ предъявила досудебные претензии к 4 странам по «Севпотокам»
Что там в IT: Xiaomi снова в России, производство LADA e-Largus, Telegram изменил принципам
В пропавшем в Архангельской области вертолете находился депутат Сметанин
В Гидрометцентре прогнозируют температуру на 6-10°С выше нормы в нескольких регионах России
Прокуратура проверяет информацию о пропаже вертолета в Архангельской области
Написал сообщение родным и исчез: Депутат и бизнесмен внезапно пропали на вертолёте Robinson под Архангельском
Под Симферополем продолжается строительство нового крупного микрорайона
Прогноз погоды в Крыму на 26 сентября
Творческая композиция «Диво дивное руки творят».
В районе Симферополя появится необычный жилой квартал
В российской столице ожидается приход лета - бабьего...
Грузия: Москва явно вбрасывает историю с якобы конфедерацией с сепаратистскими регионами
Ефимов: неэффективно используемые участки в СВАО реорганизуют по программе КРТ
Ударит новая волна заморозков: синоптик Вильфанд огорошил свежим прогнозом
