Иностранным поисковым ботам могут ограничить доступ к сбору информации в Рунете

Центром управления связью общего пользования (ЦМУ ССОП) Роскомнадзора разослал компаниям из реестра провайдеров хостинга письмо с рекомендациями по настройке ограничений доступа поисковых ботов к информации на российских сайтах. Об этом сообщает «Ъ», ознакомившийся с копией письма.

Собеседник издания на рынке интернет-провайдеров объясняет, что речь идет об иностранных ботах, в том числе поисковых сервисов Google (Googlebot) или GPTBot компании OpenAI, Apple Bot компании Apple и др.

Ограничение доступа иностранных ботов к российским сайтам, по оценке Роскомнадзора, необходимо для исключения сбора ими данных о критических уязвимостях российских ресурсов.

Сейчас боты могут посещать сайты для их индексации поисковиками, для интернет-рекламы и сбора данных для обучения нейросетей.

Гендиректор хостинг-провайдера RUVDS Никита Цаплин допускает, что в перспективе рекомендации Роскомнадзора могут стать требованиями. Он предупреждает, что сбор информации и для чат-ботов, и для пользователя, делающего запрос в адресной строке браузера, осуществляют одни и те же роботы:

«Следовательно, организация, которая выполнит рекомендацию, лишит себя возможности индексироваться в Google».

Для крупных компаний это серьезный риск, особенно с учетом конкуренции за трафик: если его часть уйдет из Google, то бизнесу придется компенсировать долю «переходов» на сайты через доступные поисковики, говорит Цаплин.

Собеседник «Ъ» в другом хостинг-провайдере считает, что блокировка особенно отразится на компаниях, работающих в странах СНГ, где позиции Google выше поисковика «Яндекс».