Есть женщины в русских селеньях

sevurrrra — 09.09.2010 Пару лет назад у нас работала одна девочка — студентка с ВМК стереотипичного рыже-немецкого вида, готичной внешности и тонкой душевной организации. Настолько тонкой, что проработав несколько месяцев, девочка не выдержала окружающего мироздания, моего подлого стёба и других угнетающих факторов. Девочка свалила, напоследок послав меня в жопу, я остался, ну и собственно на этом наша с ней интеракция закончилась. А ещё через полгода я узнал о замечательном письме, которое пришло к нам где-то в районе ее увольнения (к увольнению, насколько я знаю, отношения оно не имело, просто так совпало). Дело в том, что наша девочка писала краулер. Краулер — это такой специальный робот, который ходит и качает интернеты. Сканирующие ваш сайт боты яндекса или гугла — это и есть краулеры.

Все имена и названия вырезаны, совпадения случайны.

Здравствуйте!

Я администратор литературного сайта www.SITENAME.com, которому посчастливилось «подцепить» Вашего поискового робота…

На главной странице Вашего сайта высказана просьба сообщать об ошибках.
Итак, сообщаю:

1) Ваш бот сумел в одиночку (!) создать превышение нагрузки на 600% сверх лимита, установленного хостером. Для справки: хостер - mchost.ru. Не многовато ли он у Вас запросов в минуту делает?
Для сравнения: за день до этого толпа ботов с Гугла не смогла создать и десятой доли этой нагрузки. В общем, для ддос-атак Ваш поисковый робот вполне подходящее средство.

2) Ваш бот не идентифицируется. В навигации сайта («кто на форуме») он отображается как «Гость». Хотя Яндекс отображается как Яндекс, а Рамблер как Рамблер. В веб-статистике (plesk) он определяется как «неизвестный робот». И только в логах доступа (опять же plesk) указано: «SITENAME.ru/2.2 (crawler@SITENAME.ru)». Собственно, так я на Вас и вышел.

3) Ваш бот не реагирует на файл robots.txt. Вообще. Он делает совершенно любые запросы, какие пожелает, а не те, которые разрешены в файле. Я ради эксперимента отключил в robots.txt ботам всех поисковиков доступ ко всем страницам. Всех поисковиков - не потому, что они мне мешали, а потому, что неизвестно, как зовут именно Вашего (см. п.2). У Google - Googlebot, у Вас - …? Кстати, на Вашем сайте я не нашел руководства по управлению роботом через robots.txt - стандартное руководство на сайтах-поисковиках (возможно, плохо искал).

4) В результате я забанил Вашего бота по IP. Нагрузка пришла в норму, но… он не уходит! :))) Он продолжает уже 12 часов пытаться делать запросы и получает сообщения об ошибке. Обычно поисковые роботы через какое-то время после бана уходят.
Вопрос: он теперь вечный гость моего сайта? Он всегда будеть отображаться в таблице «кто на форуме», пытаться проиндексировать страницы?

Кстати, прочитал на Вашем сайте: «© 2005-2008 Научный проект создан при поддержке МГУ им.М.В.Ломоносова, факультетов ВМиК и психологии»

Да, я сам учился в матшколе, и многие мои школьные товарищи поступили в МГУ и окончили факультет ВМиК. Я всегда уважал этот факультет. А теперь уважаю еще сильнее, после его участия в создании этой воистину адской машины.

В общем, извините за несколько резкий тон…
Не могли бы Вы убрать своего поискового робота с моего скромного маленького сайта? Иначе я окончательно и бесповоротно разочаруюсь в кибернетике и укреплюсь во мнении, что однажды роботы уничтожат этот прекрасный, хотя и несовершенный мир.

С надеждой на понимание,
Алексей.

Справедливости ради надо отметить, что пункт 2 претензий направлен был в общем-то не по адресу — все претензии исключительно к разработчикам форума. Но остальное, конечно, хорошо нам доставило. А девочка, говорят, потом ушла в гугл. Счастья им.

Оставить комментарий

Популярные посты:

• Архив