Что такое robots.txt

traianus — 25.03.2013 — Разное

Слово "робот" взяло свое начало из пьесы Карела Чапека "Р.У.Р" ("Россумские Универсальные Роботы"). Робот - автоматическое устройство, которое предназначено для осуществления производственных и других операций, обычно выполняемых людьми. Как правило роботы используют в промышленности. В настоящее время в среде программистов, компьютерщиков мы слышим что можно индексировать сайт при помощи robots.txt.

Если вы хотите узнать что же это такое robots.txt, тогда непременно обращайтесь на сайт yaroslaff.su. Здесь вы найдете ответы на все интересующие вас вопросы. В первую очередь вы узнаете, что при заходе на сайт все поисковые роботы ищут файл robots.txt. Файл robots.txt - это текстовый файл, который находится в корневой директории сайта, где для поисковых роботов записываются специальные инструкции. Чтобы иметь понятие что же такое robots.txt, как работать с robots.txt, прочитайте такие разделы нашего сайта: "Как создать robots.txt", "Директивы robots.txt", "Правильный robots.txt для wordpress", "Правильный robots.txt для joomla". В robots.txt выделяют следующие виды директив: User-agent: разрешает индексацию для поисковых систем, Allow: разрешение к индексации конкретных страниц сайта, Disallow: запрет на индексацию конкретных страниц сайта, Sitemap: укажет путь поисковому роботу к карте вашего сайта, Host: укажет для поискового робота Яндекса главное зеркало вашего сайта. У нас собрана самая полезная информация о формате robots.txt, о синтаксисе robots.txt, а также примеры использования.

Оставить комментарий

• Архив