Введите ваш вопрос

Редактирование robots.txt

Файл «robots.txt» – это текстовый файл, который находится в корневой директории сайта компании. В него записываются специальные инструкции (указания) для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте.

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt.

Файл «robots.txt»  – идентичен для всех сайтов, созданных на платформе портала, и уже находится в корневой директории вашего сайта. Для улучшения индексации поисковыми системами, в файле «robots.txt» заблокированы только дублирующиеся страницы, например список одних и тех же товаров в виде галереи и в виде списка:

  • http://company.com/product_list - разрешена
  • http://company.com/product_list?view_as=list - запрещена 

По умолчанию, в файле «robots.txt» вашего сайта закрыты от индексации не информационные страницы, такие как страница добавления товара в корзину, заказа товара, создания отзыва, все страницы личного кабинета  и так далее. Открытие для индексации таких страниц только навредит вашему сайту, так как на них нет полезной информации ни для клиентов, ни для поисковых систем.

Все остальные страницы разрешены к индексации.

Для компаний, подключивших внешний домен вида «Company.com», есть возможность вносить изменения в файл «robots.txt». 

Внимание! Редактирование «robots.txt» может привести к неправильной индексации вашего сайта поисковыми системами. Перед внесением изменений в файл проконсультируйтесь предварительно у SEO-специалиста.

Страница редактирование файла «robots.txt» находится в разделе «Кабинет компании›Продвижение сайта›SEO›Редактирование robots.txt», доступном для компаний с подключенным внешним доменом. Более детально о подключении внешнего домена в документе «Адрес сайта компании (домен компании)».

Основные ошибки при редактировании файла: 

  • Переименование или удаление инструкций:

User-Agent: YadirectBot
Disallow:

User-Agent: YandexDirect
Disallow:

  • В директиве Host аббревиатура протокола передачи гипертекста указана с использованием http:// и  закрывающим слешем /

Host: http://company.com/ - не правильно
Host: company.com - правильно

  • Удаление инструкции «Host: company.com»
  • Использование инструкции Allow не всегда корректно воспринимается поисковыми системами и может ухудшить индексацию вашего сайта.
  • Удаление инструкции «Sitemap: http://company.com/sitemap.xml»

Примечание. Карта сайта «sitemap.xml» генерируется и обновляется системой портала автоматически.

Ниже представлен пример файла «robots.txt» находящийся в корневой директории сайта компании на портале:

Пример файла «robots.txt»

Для возврата к исходным установкам файла «robots.txt», нажмите на кнопку «Настройки по умолчанию» и сохраните изменения.

Настройки по умолчанию 

Более детальная инструкция по формированию файла «robots.txt» с сайтов поисковых систем:

Смотрите также