Как настроить robots.txt и sitemap для правильной индексации сайта

Один неверный символ в robots.txt – и поисковик перестаёт видеть половину вашего сайта. Именно такую ситуацию я разбирал на проекте, где владелец случайно заблокировал директорию с каталогом товаров. Трафик просел на треть за две недели, а причину нашли только через месяц.

Robots.txt и sitemap.xml – два файла, от которых зависит, увидят ли Google и Яндекс ваши страницы. Настроить их несложно, но ошибки обходятся дорого. Ниже — пошаговое руководство: от синтаксиса до проверки, с реальными примерами и шаблонами, которые можно копировать и адаптировать.