четверг, 30 сентября 2010 г.

Новый поисковый паук от Microsoft: BingBot

Компания Microsoft запустила своего нового поискового паука, который называется BingBot。 BingBot поддерживает все правила своего предшественника MSNBot.

В официальный анонсе сообщалось, что паук будет запущен 1 октября 2010 года, однако, это произошло на 2 дня раньше запланированного срока. Один из примеров, который можно обнаружить в логах:
207.46.195.227 Tue Sep 28 20:24:15 2010 "GET /widgets.html HTTP/1.1" 200 4321 "-" "Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)" Connection="Keep-Alive" Accept="*/*" Accept-Encoding="gzip, deflate"
Microsoft сообщили, что BingBot продолжит поддерживать директивы бота MSN из файла robots.txt, так что его обновление не требуется. Однако, работники Microsoft заявили, что при обнаружении разных наборов правил для бота Bing, старых версий поисковых пауков от Microsoft (таких как msnbot) и общих наборов правил для всех поисковиков, преимущественно будут применяться правила для бота Bing.

Комментариев нет:

Отправить комментарий