Почему у сайта сетевого журнала Хакер такой пустой robots.txt?

Всем привет!

Есть такой сайт xakep.ru и он вроде использует CMS WordPress, для сайтов на этой системе есть полно вариантов как сделать самый правильный robots.txt в 2020 году, но у них он какой-то пустой.

Неужели их не волнует вопрос с так называемыми дублями страниц? Обычно там блокируют лишние страницы, теги, архивы, авторов, поиск и т.п., а у них как будто все открыто и им все ровно.

Можно ли так делать для обычного смертного?

П.С.

Всем заранее спасибо за ответы!