Плагин robots txt для WordPress

Плагин robots txt для Wordpress

Поисковые системы при индексации сайтов обрабатывают содержимое всех страниц. Но некоторые разделы и страницы необходимо оставлять скрытыми, невидимыми для Google, Yandex и других систем. Например, страницы с личными контактами данными клиентов, их счетами, личными переписками следует оставить закрытыми для индексации. Кроме того, если сайт имеет зеркало, появляется необходимость открывать для индексации только главный сайт, оставив скрытым дубликат. Сделать это можно при помощи настройки фалов robots.txt.

Что такое файл robots.txt для WordPress и зачем он нужен

Плагин robots txt для WordPress

В файлах robots.txt указываются рекомендации для поисковиков относительно поведения при индексации. В них можно установить, с какой периодичностью нужно проверять страницы, и какие их них следует обходить. Выше были перечислены разделы, которые желательно убрать из процесса индексации ввиду конфиденциальности содержащейся в них информации. Но есть еще и такие разделы, которые не представляют пользы для индексации. Например, скрипты, выводящие всплывающие окна или баннеры не информативны с точки зрения поисковой системы. Но если не задать их обход, они будут скачиваться при проверке, как и другие страницы. Чем больше информации для скачивания, тем больше нагрузка на сайт и тем медленнее осуществляется сам процесс индексации.

Стоит отметить, что не все директивы, указанные файлами robots.txt обязательны для выполнения. Некоторые из них роботы игнорируют. Некоторые являются обязательными для выполнения роботами одних систем, и при этом игнорируются другими поисковиками. Кроме того, при неправильном использовании robots.txt сайт может полностью стать невидимым для роботов, и в результате исчезнуть из всех поисковых систем. Все это означает, что применять файлы robots.txt нужно только при тщательном изучении всех правил и нюансов их составления.

Где находится файл robots.txt для WordPress

Работу с данным видом файлов необходимо начинать с изучения основных данных. Прежде всего, нужно выяснить, где файл robots.txt расположен. Если коротко – он находится в корневой директории. Однако такой ответ не является исчерпывающим для начинающих пользователей WordPress. Рассмотрим данный вопрос поподробнее.

Файл robots.txt может быть предустановлен на сайте, может быть установлен с ошибкой или отсутствовать вообще. Это можно легко выяснить. Нужно в поисковую строку ввести адрес сайта и добавить к нему значение /robots.txt. Если файл есть, и находится на своем месте, по такому запросу откроется страница с несколькими строчками кода. При таком варианте можно быть уверенным в том, что файл работает, и его нужно только откорректировать под свои запросы. Если же страница будет не найдена, значит robots.txt необходимо сначала установить, и только потом указать страницы, которые будут скрыты.

Создавать и удалять файлы можно несколькими способами. Чаше всего для этого используется панель управления функциями, предоставленными хостингом. Через панель можно открыть корневую папку сайта, и увидеть в них основные составляющие – это папки wp-includes, wp-content, wp-admin. Прямо под ними и располагается robots.txt. Здесь же его можно открыть и изменить.

Другой способ поиска связан с использованием FTP клиента. Он предполагает наличие соответствующей программы на компьютере. Эту программу нужно открыть, перейти с ее помощью к управлению сайтом, и там найти, как и в предыдущем примере, основные папки, под которыми лежит файл robots.txt. В этом варианте тоже можно сразу открывать файл и работать с ним.

Если внутри общей папки с основными файлами сайта robots.txt отсутствует, возможно, он находится в другом месте. В этом случае он является нерабочим, так как роботы его просто не увидят, и искать его смысла нет. Значит нужно просто открыть свой файл и поставить на свое место.

Какие правила нужно включить в файл robots.txt для WordPress

Плагин robots txt для WordPress

Базовый вариант файла robots.txt для WordPress выглядит так:

User-agent:

Disallow: /wp-admin/

Disallow: /wp-includes/

Каждая строка документа представляет собой отдельную директиву, то есть правило, которое относится к поисковикам.

«User-agent», это обращение к роботам поисковых систем. Если правило прописывается для всех поисковиков, перед ним нужно поставить знак «*».

«Disallow» указывает какую папку нужно роботам обходить при индексации. Наличие строки «Disallow: /wp-admin/» обеспечивает запрет индексации всего, что находится в папке «admin». Соответственно, строка «Disallow: /wp-includes/» запрещает скачивать для проверки папку «includes».

В документе можно оставлять комментарии, которые предназначены не для роботов, а для самого администратора сайта. Комментарии пишутся после знака «#». Все, что прописано после решетки роботы не читают.

Первой строкой прописывается директива «User-agent». Она показывает, к какому из поисковиков обращено следующее за не правило. Если после нее ставится звездочка, значит следующее правило обращено к роботам всех поисковых систем. Строка со значением «User-agent: Googlebot» – это обращение к поисковому роботу Google. Обращение к Яндексу начинается со значения «User-agent: Yandex».

«Disallow» обозначает, что прописанное правило имеет запрещающее содержание. «Allow» – это разрешающая директива.

Пример:

User-agent: *

Allow: /cgi-bin

Disallow: /

Составленный таким образом файл указывает на то, что поисковикам запрещается скачивать все, кроме тех страниц, названия которых начинаются со значения «cgi-bin».

Пустые переводы строк между «User-agent» и «Disallow (Allow)» недопустимы. Если оставить просто строку «Disallow: /», без исключений, прописанных после «Allow», то сайт окажется полностью закрытым для индексации. Но если при отсутствии «Allow» строка «Disallow» оставляется пустой (без значения /), то скачиваться будут абсолютно все страницы сайта.

Обычно от скачивания прячут папки с личной информацией, паролями и логинами. Скрыть эти три папки можно такой директивой:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallw: /wp-includes/

Плагины и скрипты, не имеющие отношения к контенту тоже желательно скрыть. Для этого прописываются такие строки:

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Чтобы исключить дублирование контента, снижающего качество SEO, необходимо скрыть еще несколько папок. Часто дублирующие элементы возникают в комментариях, в подписях статей (имя автора), при размещении статей разных авторов одной тематики. Много повторяющихся слов содержат теги к страницам блога. Все эти папки стоит вписать в запрещающее правило файла robots.txt после значения «Disallow: /*».

В случае с зеркалом сайта указать Яндексу основной домен очень просто – при помощи директивы «Host». Это делается в специальной строке, адресованной именно Яндексу. Для других поисковиков необходимо создать другую строку с запрещающей директивой.

Как создать файл robots.txt для WordPress (3 способа)

Как видно из вышесказанного, файл robots.txt является не обязательным, но очень полезным элементом сайта. Если такого файла среди документации ресурса нет, желательно как можно быстрее заняться его созданием. Получить robots.txt можно при помощи плагина или путем применения FTP клиента. Ниже описаны два варианта применения плагинов и способ создания файла через FTP соединение.

1. Использование плагина Yoast SEO

плагин Yoast SEO

Yoast SEO – это популярный многофункциональный плагин WordPress. В нем предусмотрены все инструменты для оптимизации SEO. С помощью Yoast SEO настраиваются мета теги, создаются «хлебные крошки», карты сайта, и файлы robots.txt. Изначально плагин настроен на сохранение безопасности сайта. Все, что не касается безопасности, в том числе и запреты robots.txt нужно настраивать самостоятельно.

Удобство плагина Yoast SEO ив том, что он обеспечивает доступ к файлу robots.txt (как и к другим файлам корневой папки) непосредственно из панели управления вордпресс. Чтобы найти нужные папки следует зайти в «инструменты», в раздел «редактор файлов». Здесь можно сразу открыть файл и внести необходимые изменения. Чтобы директивы заработали, нужно обязательно сохранить изменения как при любых корректировках кодов. Если файл robots.txt на сайте отсутствует, на месте, где должна лежать папка с ним, будет располагаться подсказка, с предложением создать этот файл при помощи специальной кнопки.

2. Применение плагина All in One SEO Pack

All in One SEO Pack

 

Это другой плагин для оптимизации SEO. Он тоже достаточно популярен среди пользователей платформы WP. В нем также предусмотрено множество полезных и удобных инструментов. Некоторых функций, имеющихся в Yoast SEO плагину All in One SEO Pack недостает. Поэтому, если Yoast SEO выбирают для максимально тонких настроек, то All in One SEO Pack предпочитают те веб-мастера, для которых важнее скорость работы и легковесность расширения.

Создать файл robots.txt на сайте, управляемом при помощи All in One SEO Pack также просто, как и в предыдущем варианте. Сначала нужно его установить, потом открыть в консоли вордпресс, разделе «управление модулями». Панель управления плагина проста и интуитивно понятна. В ней отображаются все функции, которые можно устанавливать и настраивать данным расширением. Здесь же представлена и вкладка файла robots.txt. Для создания файла нужно нажать кнопку «активировать». После создания файла его можно сразу открыть и внести все директивы. Осуществляется это очень просто. Для добавления нового правила есть специальная кнопка. При необходимости можно удалить все содержимое раздела. Плагин предоставляет целый ряд предустановленных правил. Если какие-то из них не нужны, их просто деактивируют. Потом можно опять включать неактивные предустановленные правила.

3. Создание и загрузка файла robots.txt для WordPress по FTP

Этот способ подходит для дизайнеров, которые предпочитают не нагружать сайты расширениями и вносить необходимые дополнения самостоятельно. В данном варианте следует сначала создать файл при помощи текстового редактора. Например в Notepad++. При написании кода нужно учитывать приведенные выше принципы последовательности. Созданный документ надо сохранить в памяти компьютера с текстовым расширением. Далее открывается программа – FTP клиент, осуществляется подключение к сайту.

Подключившись к сайту нужно зайти в каталог public_html. В него и загружается новый файл robots.txt из компьютера. Таким образом он оказывается в нужном месте непосредственно на сервере. Загрузка может быть выполнена путем перетаскивания документа или с использованием загрузчика сервера через навигацию. Весь процесс займет несколько минут. Здесь главное правильно составить документ. Можно найти готовый вариант подробно прописанного файла в интернете, например, на специализированном форуме.

Как проверить WordPress robots.txt и отправить его в Консоль Google Search

Как проверить WordPress robots.txt и отправить его в Консоль Google Search

Готовый и установленный файл может содержать ошибки. Это достаточно опасно, так как неправильные команды поисковым роботам могут приводить к снижению результатов индексации. Поэтому важно сразу проверить его. Сделать это проще всего с применением Search Console – расширения, состоящего из инструментов для контроля контента сайта. Search Console показывает, как влияет имеющийся контент на результаты поиска.

Открыв расширение мы видим специальное поле редактора. Сюда добавляется код robots.txt, и отправляется на проверку нажатием кнопки «отправить». В консоли расширения появится подсказка, спрашивающая, нужно ли проверить новый код или использовать файл сайта. В поле подсказки следует выбрать вариант публикации вручную. Он подписан так: «Ask Google to Update». Дальше платформа автоматически проверит загруженный файл на ошибки. Если ошибки будут найдены, всплывет окно с оповещением.

Если у вас возникли вопросы по скаченному архиву или вы нашли неработающие ссылки, то напишите об этом в комментариях. Также, вы можете заказать установку, настройку или перевод этого плагина WordPress.

    Комментарии и отзывы

    avatar
      Подписаться  
    На:
    Adblock
    detector