Написать скрипт на Python и связать с простейшей веб-страничкой
1. Взять две части поискового запроса для Google (первая часть вводится в поисковое окошко на веб-странице, вторая берется из файла(ов) с синонимами, которые мы дадим)
2. Выполнить поисковый запрос через Google.
3. Проанализировать выдачу Google на предмет совпадения найденных веб-ресурсов с перечнем в предоставленном нами файле(ах).
4. Отсеять веб-ресурсы, которых нет в нашем файле.
5. Излвечь тексты по всем ссылкам, которые остались после отсева.
6. Проаналзировать (найти в тексте) каждый извлеченный текст на предмет:
- количества знаков,
- наличия ключевых слов из заранее предоставленного файла,
- количества ключевых слов и выделить в извлеченном тексте ключевые слова;
- сравнить все тексты на предмет наличия идентичных фраз в разных текстах - три фрагмента (по 5-7 слов подряд) соспадают = 30 процентов похжесть, шесть фрагментов = 60 процентов, девять фрагментов = 90 процентов похожесть;
- дата публикации текста
7. Сформировать Exel или ему подобную табличку из шести столбцов
7.1 - нумерация ссылок,
7.2 - сами ссылки (кликабельные и ведущие в файл с извлеченным текстом и выделенными ключевиками),
7.3 - количество знаков в тексте,
7.4 - количество ключевых слов,
7.5 - похожесть 30, 60 или 90 процентов (по выше предложенной схеме)
сгруппировать похожие тексты в списке рядом с указанием что на что похоже
7.6 - дата публикации текста
Задание - наше пожелание и может обсуждаться.