рейтинг блогов

Что такое robots.txt

топ 100 блогов traianus25.03.2013Разное

Что такое robots.txt Слово "робот" взяло свое начало из пьесы Карела Чапека "Р.У.Р" ("Россумские Универсальные Роботы"). Робот - автоматическое устройство, которое предназначено для осуществления производственных и других операций, обычно выполняемых людьми. Как правило роботы используют в промышленности. В настоящее время в среде программистов, компьютерщиков мы слышим что можно индексировать сайт при помощи robots.txt.

Если вы хотите узнать что же это такое robots.txt, тогда непременно обращайтесь на сайт yaroslaff.su. Здесь вы найдете ответы на все интересующие вас вопросы. В первую очередь вы узнаете, что при заходе на сайт все поисковые роботы ищут файл robots.txt. Файл robots.txt - это текстовый файл, который находится в корневой директории сайта, где для поисковых роботов записываются специальные инструкции. Чтобы иметь понятие что же такое robots.txt, как работать с robots.txt, прочитайте такие разделы нашего сайта: "Как создать robots.txt", "Директивы robots.txt", "Правильный robots.txt для wordpress", "Правильный robots.txt для joomla". В robots.txt выделяют следующие виды директив: User-agent: разрешает индексацию для поисковых систем, Allow: разрешение к индексации конкретных страниц сайта, Disallow: запрет на индексацию конкретных страниц сайта, Sitemap: укажет путь поисковому роботу к карте вашего сайта, Host: укажет для поискового робота Яндекса главное зеркало вашего сайта. У нас собрана самая полезная информация о формате robots.txt, о синтаксисе robots.txt, а также примеры использования.

Оставить комментарий

Архив записей в блогах:
Заметил одну выраженную тенденцию.  Большинство женщин (не все!) довольно часто делят работу на НЕ женскую и НА мужскую.  И хотят рядом с собой видеть мужчину, который зарабатывает не меньше их,а больше в два или в три раза. При этом также возмущаются, когда мужчины ...
Вопрос к женской части сообщества. С женской точки зрения не выглядит ли отталкивающе такая мужская лысина, когда в центре нет волос, а по бокам есть. Именно когда по бокам волосы, а в середине нет. Может проще всю голову налысо побрить или так тоже сойдет? ...
Как-то пришлось мне в силу злой нужды писать рекламную заметку для одного московского кабака. Кабак на мое счастье оказался недурным – о чем я не преминул заметить менеджеру, на что тот отвечал: – Вы знаете, я по профессии физик-ядерщик. А ...
Гугли и многие его сервисы это все для меня. Это почта (личная и деловая переписка), это мой блог, это возможность читать кучу рсс-каналов, [ Error: Irreparable invalid markup ...
глазами олега платье by cyara на самом деле это целая сказка даже с картинками Раньше по числу лодок можно было узнать число жителей острова, тогда лодками правили и женщины, но после гибели в море любимой дочери старейшины ...