Правильный robots.txt для SkeekS CMS (Yii2)

В момент запуска сайта необходимо проверить наличие и содержимое файла robots.txt

Этот файл содержит в себе правила для поисковых систем о том, что можно индексировать (сканировать) на вашем сайте, а что нельзя.

Так вот для SkeekS CMS (Yii2) правильный файл по умолчанию имеет вид примерно следующий:

User-agent: *
Disallow: /~*
Host: skeeks.com
Sitemap: http://skeeks.com/sitemap.xml

Вместо skeeks.com - название вашего сайта.

 

1) Простой самый частый вариант

Подоходит для большинства сайтов:

Переходим в систему администрирования по адресу Контент -> Файловый менеджер -> Корень

Редактируем его

Вставляем содержимое и сохраняем

На базе платформы SkeekS CMS есть возможность построить портал (много сайтов в одном), соответственно в этом случае для каждого из доменов нужен собственный файл robots.txt и как это сделать в рамках CMS мы напишем чуть позже.