robots.txt для WordPress – рабочий пример файла.
Провел SEO-аудит сайта при помощи labrika.ru. Оказалось что много технических ошибок. Важно этот файл готовить правильно ???? Пришлось колдовать с файлом robots txt. Готового плагина для этих целей у меня нет. Потому решил задачу программно.Задачи для настройки robots.txtзакрыть все страницы пагинации попало много страниц типа ?products-per-page= – закрыл закрыть страницы переадресации типа /gurl/ (это специфика только моего сайта, и больше нигде не нужно)
Р?
robots.txt для WordPress – рабочий пример файла...
Провел SEO-аудит сайта при помощи labrika.ru. Оказалось что много технических ошибок. Важно этот файл готовить правильно ???? Пришлось колдовать с файлом robots txt. Готового плагина для этих целей у меня нет. Потому решил задачу программно.
Задачи для настройки robots.txt
- закрыть все страницы пагинации
- попало много страниц типа ?products-per-page= – закрыл
- закрыть страницы переадресации типа /gurl/ (это специфика только моего сайта, и больше нигде не нужно)
Результат https://wpcraft.ru/robots.txt
Пример кода для WordPress
- Важно заменить url в параметре Sitemap с учетом вашего сайта
- Строку с gurl можно не копировать, тк это нужно только для моего сайта
- Можно дополнять с учетом особенностей вашего сайта
add_filter('robots_txt', function($output){ $lines = [ 'User-agent: *', 'Allow: /wp-admin/admin-ajax.php', 'Disallow: /wp-admin/', 'Disallow: /author/', 'Disallow: */comments', 'Disallow: */page/', 'Disallow: */embed', 'Disallow: *?s=', 'Disallow: *products-per-page=', 'Disallow: */gurl/', 'Disallow: /trackback', '', 'Sitemap: https://wpcraft.ru/sitemap.xml', ]; ob_start(); echo implode( "\r\n", $lines ); $output = ob_get_clean(); return $output; }, 999); Где находится robots.txt в WordPress?
Такого файла нет. Он генерируется автоматически и потому лучше использовать указанный код выше.
Код можно вставить в functions.php темы WordPress или в папку wp-content/mu-plugins/ как файл robots.php.