Что такое файл robots.txt и зачем он нужен?


Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Директива User-agent

Управлять доступом робота Яндекса к вашему сайту вы можете при помощи файла robots.txt. 

Для того, чтобы разрешить или запретить поисковым системам индексировать страницы Вашего интернет-магазина, перейдите по пути «Настройки -> Общие настройки -> Настройка счетчиков».

 

 

Если хотите запретить роботам индексацию контента своего сайта, нажмите на кнопку «Заблокировать». По умолчанию индексация разрешена, поэтому никаких действий для этого сразу после создания магазина пользователю производить не требуется!

Пример

Подробнее вы можете прочесть здесь, либо здесь.

Контакты
+38 (098) 3 400 600
+7 (499) 703 21 69

Задать вопрос

Наши проекты
Портал Tatet.UA
Мы в соцсетях