Доработка парсера php 5.6 (multi curl, proxy)
Здравствуйте, есть старый парсер сайта, состоящий из 2 независимых частей. 1 часть сохраняет все страницы в БД в сжатом виде, 2 часть получает из БД сохраненные сжатые страницы, распаковывает их и парсит регулярными выражениями. Например:
$result = SELECT * FROM bigdata WHERE parse_url = "site '. $page
$content = gzuncompress($result['parse_content'];
Планируется перенос парсера на сервер и его автономная работа по крону, из-за чего надо доработать вторую часть для того, чтобы она работала самостоятельно, получая страницы не из БД, а через curl. Чтобы избежать банов, нужна поддержка прокси, плюс многопоточность для быстрой работы.
Читайте также:
Вчера 20:33
Вчера 19:17
Вчера 18:33
Вчера 19:35
Moscow.media Частные объявления сегодня
"СВЯТОЙ ЛЕНИН", ПРАВИТЕЛЬСТВА И ЗАКОНОДАТЕЛИ МОГУТ ЗАКРЫТЬ ФЕРМЫ ВЕЗДЕ!
Вебкам-студия MONTANA в Санкт-Петербурге
Состоялась церемония вручения премии Men Today Trends
Врач дерматолог-косметолог Мадина Байрамукова: что делать, если вас ужалила медуза
5 болезней, которых не существует, но которые до сих пор диагностируют
Врач дерматолог-косметолог Мадина Байрамукова: что делать, если вас ужалила медуза
Ледяная ловушка: доктор Кутушов рассказал про опасность мороженого в жаркую погоду
Mets survive late barrage to beat Yankees in Subway Series opener
Commentator’s curse strikes immediately as LIV golf hothead Tyrrell Hatton swears live on TV after losing it at the WIND
Who could England get next in Euro 2024 knockout stage after going through to last-16?
Cubs Suffer Another Devastating Injury to Starting Rotation
Филиал № 4 ОСФР по Москве и Московской области информирует:
Родители 240,5 тыс. детей в Московской области получают единое пособие
Врач дерматолог-косметолог Мадина Байрамукова: что делать, если вас ужалила медуза
Ингушетия. Цей-Лоамский перевал.
Беспроводной сканер штрих-кодов SAOTRON P05i промышленного класса
'Maybe this new Stardew Valley-like game is pretty good' I said to myself after blearily noticing I'd played it until 2 in the morning
Прохождение элитного подземелья «Лесной алтарь» в Tarisland
All Destiny 2 Prismatic fragment locations
Dustborn let me smash fascists and flirt with my situationship on a road trip across America
Робота водієм у Таксі 571 (Київ)
Владивосток готовится к Всероссийскому молодежному театральному фестивалю “Место силы – Владивосток”
Аромат романса и романтика слова – звезды оперной сцены представили I Международный фестиваль «Мир классического романса»
Кавер-группа MOONPORT выступит на сцене фуд-корта ТРЦ «Нора»
Врач дерматолог-косметолог Мадина Байрамукова: что делать, если вас ужалила медуза
Состоялась церемония вручения премии Men Today Trends
Посетители Московского зоопарка могут увидеть редких китоглавов в новом вольере
Инновации в логистике: какие технологии изменят логистику в России в ближайшем будущем
Дети Азии собрал крупнейшие цирки - Театр и Цирк, Культура и Концерт - Россия и Дети
Баскетболистки из Подмосковья победили на всероссийском фестивале «Минибаскет»
Инновации в логистике: какие технологии изменят логистику в России в ближайшем будущем
На трассе М-2 «Крым» в Подмосковье мост через Оку достроят в IV квартале 2025 г
Президент Киргизии С. Жапаров отменил запрет на разработку месторождений урана и тория
Теннисист из Казахстана не сумел пробиться в основной раунд Уимблдона-2024
20-летняя Эрика Андреева вышла в финал квалификации Уимблдона-2024
МОК официально допустил Медведева, Сафиуллина, Александрову и Андрееву на Олимпиаду
Хачанов уступил Руне на предуимблдонском выставочном турнире в Харлингеме
Благоустройство проверили на Московской набережной Чебоксар
Собянин рассказал о работе московских центров ментального здоровья
Интернет-зависимостью чаще страдают женщины
Суд взыскал с солиста «Руки вверх» Жукова задолженность по оплате ЖКУ
Музыкальные новости
Певица Наталья Самойлова презентовала новый клип «Голос природы»
Наследники: дочь Била Гейтса встречается с внуком Пола Маккартни
Критик Соседов заявил, что Моргенштерну ничего не будет по возвращении в РФ
Свобода - не вседозволенность: Рэпер ST о самоцензуре и свободе слова
Врач дерматолог-косметолог Мадина Байрамукова: что делать, если вас ужалила медуза
Состоялась церемония вручения премии Men Today Trends
Владивосток готовится к Всероссийскому молодежному театральному фестивалю “Место силы – Владивосток”
Инновации в логистике: какие технологии изменят логистику в России в ближайшем будущем
Собянин рассказал о работе московских центров ментального здоровья
Пер-во г.Люберцы-на призы БФ Люберецкий Квартал 24-30.06.2024
Депутат ЗСК Виктор Тепляков провёл комиссионный осмотр Центра творческого развития в Сочи
Путешествуй с “Фанагорией” в небе и по земле!
Нанесение дорожной разметки цена в Питере
Дворы ремонтируют с эвакуацией // Коммунальные активно перемещают припаркованные у домов машины
Асфальтирование пешеходных дорожек недорого СПб
Ямочный ремонт асфальта услуги в СПб
В Кремле раскрыли тему переговоров президентов России и Конго
Андрей Воробьев отметил важность возвращения иконы Рублева в лавру
Американский MQ-9 Reaper чуть не столкнулся с Су-34 ВКС России – обсуждаем, пытались ли США «вернуть должок»
Президент Конго Сассу-Нгессо назвал отношения с РФ дружескими и солидарными
Участники VK Fest смогут проверить свое здоровье на стенде «Будь Здоров»
«Магнит» и Everland запускают социальную программу для молодых людей с инвалидностью в 10 регионах
Московские врачи пересадили сердце 12-летнему мальчику из Нижегородской области
Врач дерматолог-косметолог Мадина Байрамукова: что делать, если вас ужалила медуза
Зеленский признал, что Киев не хочет затягивания конфликта из-за больших потерь
Зеленский заявил о нежелании затягивать конфликт из-за больших потерь ВСУ
ЕС заключил с Киевом договор о «безопасности»
"Запад до последнего будет закрывать глаза на зверства режима Зеленского": Мария Захарова ответила Киеву после атаки на Севастополь
Спортсмены из Мытищ победители на соревнованиях по акробатическому рок-н-роллу
Вратарь «Композита» об игре на Сахалине в 4 утра по Москве: «Как выползли из самолета – поняли, что нас ждет. Из аэропорта – сразу на стадион, когда горели 0:3, осознал – сил нет. Хорошо, никто не уснул, ха-ха»
Контрольный матч. "Спартак" обыграл "Торпедо".
Курсанты Пермского военного института Росгвардии приняли участие в межведомственной олимпиаде по дрессировке служебных собак
Собянин рассказал о работе московских центров ментального здоровья
Собянин рассказал об интеграции Мневниковской поймы в городскую транспортную сеть
Собянин заявил, что транспортная доступность Мневниковской поймы будет улучшена
Собянин рассказал, каким будет летний сезон волонтерского проекта «Время добра»
«Мега-зной» идёт в Москву. Метеоролог: барический максимум раскалит воздух
Последствия жары и ливней: в Москве в Яузе заметили плывущих бегемотов
Китоглавы - уникальные птицы в Московском зоопарке
Величие российских рек: Круиз на теплоходе Александр Невский
Туристическая полиция на улицах Москвы
Новую насосную станцию построят на улице Бойко в Лобне
«МегаФон» ускорил мобильный интернет в крупнейшей в мире кардиохирургической клинике
Брынцалов: в 2024 году в Подмосковье закуплено свыше 450 новых автобусов
В большинстве районов Архангельской области 25 июня пройдут грозы
Спортсмены из Архангельской области взяли серебро и бронзу на чемпионате России по пулевой стрельбе
В Димитровграде проводят чемпионат России по парусному спорту в классе «микро»
Портативный ТСД корпоративного класса Saotron RT-T70
Семья из Симферополя отправилась в колонию за мошенничество
Удивительно, но факт: в Симферополе снять квартиру дороже, чем в Севастополе
Водитель так торопился к морю, что вдребезги разбил о дерево свою жизнь
В Симферополе пройдут антитеррористические учения
СберСтрахование застраховала малый бизнес в Сибири на 5,5 млрд рублей
Прогорклая кислятина в баночке: Росконтроль назвал кофе, которые лучше не покупать даже по акции
На трассе М-2 «Крым» в Подмосковье мост через Оку достроят в IV квартале 2025 г
Певица Сати Казанова отменила концерт в Санкт-Петербурге из-за госпитализации
