Мини-отчет по массовой бане роботов.
Значит, началось с того, что меня достали хождения AHREFS-а по 404-м адресам на сайте. Каждый заход бота яндекс индексировал как дубль, что заставляло грустить.
Решил я объявить войну ботам, и вот с чего начал.
Десяток ботов-индексаторов...