Основные значения UserAgent

О блоге

Здесь собраны избранные статьи и материалы, написанные опытными seoшниками, вебмастерами, посвященные созданию, продвижению и монетизации сайта с регулярным обновлением.

Здесь уже публиковались сведения
о составлении файла robots.txt, при этом приводился список основных значений UserAgent для роботов поисковиков. Однако, видимо, приведенная информация была неполной, вполне возможно, также, что она несколько устарела за прошедшее время.
Далее приводится список UserAgent по состоянию на 1 марта 2002 года по основным поисковикам.

Поисковая система	UserAgent	Имя робота для robots.txt	Примечание
AltaVista	Scooter-3.0.3	Scooter	-
Ask Jeeves	Mozilla/2.0 (compatible; Ask Jeeves)	directhit teomaagent1
Fast Search and Transfer ASA	FAST-WebCrawler/3.4/Nirvana) Mozilla/4.0 (compatible; FastCrawler3, support-fastcrawler3@fast.no)	fast	http://fast.no/support/crawler.asp
Google	Googlebot/2.1 (+http://www.googlebot.com/bot.html) Wget/1.5.3Googlebot-image (+http://www.googlebot.com/bot.html)	googlebot	http://www.google.com/bot.html
Inktomi	Slurp (Slurp.so/1.0 (slurp@inktomi.com; http://www.inktomi.com/slurp.html )	slurp	http://www.inktomi.com/slurp.html
Lycos	Lycos_Spider_(modspider) T-Rex	lycos	Не очень ясно, зачем этот робот продолжает работать.
Yahoo	Mozilla/4.05 LWP::Simple/5.53	-	Робот для проверки ссылок
Яндекс	Yandex/1.03.000	Yandex	-
Рамблер	StackRambler/1.4	Stack	-
Апорт	Aport Registration Robot	aport	-