Спарсить базу сайтов и структурировать данные на python
Плюс скрипт должен реализованн так что для получения каждого вида данных должна быть 1 функция в которую ты посылаешь домен и они возращает спрасенные данные. Это нужно для дальнейшего удобного интегрирования функци в другие скрипты. Так же устранить все возможные варианты ошибок. Тем не менее от вас мне нужна готовая спарсенная база плюс хорошо написанный скрипт с функциями для получения каждого вида данных.
Сервер плюс прокси предоставлю.
(Так же база site.txt еше не полностью собранна, если возьметесь за заказ то скину полную базу, там будет до 50к доменов)
Вот пример ссылок и какие данные надо спарсить
В папке db/2nafare.com приведён пример как должны быть сохраненны данные
(архетектура)
db/2nafare.com(папка)
| |---June 21, 2018.txt (запись who is по этой дате)
| |
|--------------whois_history(папка)|---May 27, 2018.txt (запись who is по этой дате)
| |
| |---November 24, 2018.txt (запись who is по этой дате)
| |
| |---November 24, 2018.txt (запись who is по этой дате)
|
|----Hosting History.txt
|
|----Server Information.txt
|
|----Traffic Analysis.txt
|
|----Worldwide-Audience.txt
1.
whois history
https://whois.easycounter.com/offcn.com
Отсюда парсим whois_hostory + дату в папку whois_history
2.
SEO REPORT
https://www.easycounter.com/report/5278.mobi
Отсюда парсим Worldwide Audience в формате:
----------------------------------------
Worldwide Audience
5278.mobi gets 39.3% of its traffic from China where it is ranked #33887.
Top Countries
China 39.3%
Taiwan 29.3%
Japan 24.7%
USA 2.7%
Top Ranks
Taiwan 5 322
Japan 18 298
China 33 887
USA 393 098
----------------------------------------
3.
Traffic Analysis
https://www.easycounter.com/report/5278.mobi
Отсюда парсим Traffic Analysis
----------------------------------------
Traffic Analysis
5278.mobi has 8.72K visitors and 17.4K pageviews daily.
87599 5278.mobi
8.72K / 17.4K
----------------------------------------
4.
Server Information
https://www.easycounter.com/report/5278.mobi
Отсюда парсим Traffic Analysis
----------------------------------------
Server Information
5278.mobi uses WordPress CMS and is hosted by CloudFlare, Inc.
Server Technologies
WordPress
----------------------------------------
5.
5278.mobi server and hosting history
https://server.easycounter.com/5278.mobi
Отсюда парсим hosting history
----------------------------------------
5278.mobi server and hosting history
Hosting provider IP
CloudFlare, Inc. 104.26.4.38 January 26, 2017
Hosting Services, Inc. 206.190.150.55 October 02, 2015
----------------------------------------