Webcrawler - Robots - Liste

hier ist mal ne liste der bekanntesten crawler. werde die liste ständig aktualisieren. anhand dieser liste könnt ihr eure eigenen webprojekte bei den jeweiligen suchmaschinen anmelden. damit ihr nicht auf diese unseriösen "anmeldung in 200 suchmaschinen kostenlos" dienste zurückgreifen müsst. da steht nämlich nie, dass die automatisch deine emailadresse an die 200 "suchmaschinen" übermitteln

Google
Googlebot/2.1 (+[Link nur für registrierte Mitglieder sichtbar.] )
Googlebot/2.1 (+[Link nur für registrierte Mitglieder sichtbar.] )
Mediapartners-Google/2.1 (+[Link nur für registrierte Mitglieder sichtbar.] )
Googlebot-Image/1.0 (+[Link nur für registrierte Mitglieder sichtbar.] )

AltaVista
Scooter/3.3.vscooter
Scooter/3.3Y!CrawlX
Scooter/3.3_SF
Scooter/3.3
Scooter/3.2

Overture
Yahoo-MMCrawler/3.x (mm dash crawler at trd dot overture dot com)
FAST-WebCrawler/3.8 (crawler at trd dot overture dot com; [Link nur für registrierte Mitglieder sichtbar.] )

Yahoo
Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)
Mozilla/5.0 (compatible; Yahoo! Slurp; [Link nur für registrierte Mitglieder sichtbar.] )

Microsoft Network - MSN
msnbot/0.11 (+[Link nur für registrierte Mitglieder sichtbar.] )
F
AST
FAST-WebCrawler/3.6 (atw-crawler at fast dot no; [Link nur für registrierte Mitglieder sichtbar.] )
FAST Enterprise Crawler/6 ([Link nur für registrierte Mitglieder sichtbar.] )

NPBot [Link nur für registrierte Mitglieder sichtbar.]
Gigabot/1.0
Gigabot/2.0
NameProtect Inc. web crawler. NPBot ( [Link nur für registrierte Mitglieder sichtbar.] )

Slurp/si; [Link nur für registrierte Mitglieder sichtbar.] ; [Link nur für registrierte Mitglieder sichtbar.] )

Steeler/1.3 ( [Link nur für registrierte Mitglieder sichtbar.] )

Mozilla/2.0 (compatible; Ask Jeeves/Teoma)

ia_archiver
ia_archiver-web.archive.org
DoCoMo/1.0/P504iS/c10/TB
[Link nur für registrierte Mitglieder sichtbar.] [c01]
sitecheck.internetseer.com (For more info see: [Link nur für registrierte Mitglieder sichtbar.] )
ZyBorg/1.0 ([Link nur für registrierte Mitglieder sichtbar.] ; [Link nur für registrierte Mitglieder sichtbar.] )
ZyBorg/1.0 Dead Link Checker ([Link nur für registrierte Mitglieder sichtbar.] ; [Link nur für registrierte Mitglieder sichtbar.] )
ZyBorg/1.0 ([Link nur für registrierte Mitglieder sichtbar.] ; [Link nur für registrierte Mitglieder sichtbar.] )
CipinetBot ([Link nur für registrierte Mitglieder sichtbar.] )
QuepasaCreep v0.9.13 and QuepasaCreep v0.9.14
QuepasaCreep ( [Link nur für registrierte Mitglieder sichtbar.] )
larbin_2.6.2 ([Link nur für registrierte Mitglieder sichtbar.] )
eseek-larbin_2.6.2 ([Link nur für registrierte Mitglieder sichtbar.] )
larbin_2.6.3 ([Link nur für registrierte Mitglieder sichtbar.] )
Gaisbot/3.0+([Link nur für registrierte Mitglieder sichtbar.] .ccu.edu.tw;+ [Link nur für registrierte Mitglieder sichtbar.] )
SearchSpider/1.2.10 AND ALSO SearchSpider.com/1.1
COMBINE/0.0
Girafabot; girafabot at girafa dot com; [Link nur für registrierte Mitglieder sichtbar.] )
Vagabondo/2.0 MT (webagent at wise-guys dot nl)
Openfind data gatherer, Openbot/3.0+([Link nur für registrierte Mitglieder sichtbar.] .tw;+[Link nur für registrierte Mitglieder sichtbar.] )
SpiderKU/0.9
IXE Crawler
BDNcentral Crawler v2.3 [en] ([Link nur für registrierte Mitglieder sichtbar.] ) (X11; I; Linux 2.0.44 i686)
[Link nur für registrierte Mitglieder sichtbar.] (Computer_and_Automation_Research_Institute_Crawle r)
Dattatec.com-Sitios-Top ([Link nur für registrierte Mitglieder sichtbar.] )
skysearch.net from
dloader(NaverRobot)/1.5
minibot(NaverRobot)/1.0
NaverBot-1.0 (NHN Corp. / +82-2-3011-1954 / [Link nur für registrierte Mitglieder sichtbar.] )
QPCreep Test Rig ( We are not indexing, just testing )
appie 1.1 ([Link nur für registrierte Mitglieder sichtbar.] )
iw5Spider ([Link nur für registrierte Mitglieder sichtbar.] )
Dumbot(version 0.1 beta)
Dumbot(version 0.1 beta - dumbfind.com)
Cowbot-0.1.1 (NHN Corp. / +82-2-3011-1954 / [Link nur für registrierte Mitglieder sichtbar.] )
TurnitinBot/1.5 ([Link nur für registrierte Mitglieder sichtbar.] )
TurnitinBot/2.0 ([Link nur für registrierte Mitglieder sichtbar.] )
SurveyBot/2.3 (Whois Source) [Link nur für registrierte Mitglieder sichtbar.]
SnykeBot/0.6 ([Link nur für registrierte Mitglieder sichtbar.] )
lachesis
[Link nur für registrierte Mitglieder sichtbar.]
Zao/0.2 ([Link nur für registrierte Mitglieder sichtbar.] )
LinkAlarm/2.4
LinkWalker [Link nur für registrierte Mitglieder sichtbar.]
psbot/0.1 (+[Link nur für registrierte Mitglieder sichtbar.] )
Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) VoilaBot BETA 1.2 ([Link nur für registrierte Mitglieder sichtbar.] )
Tutorial Crawler 1.4 ([Link nur für registrierte Mitglieder sichtbar.] )
RoboCrawl ([Link nur für registrierte Mitglieder sichtbar.] )
Fetcher/0.99 RPT-HTTPClient/0.3-3E
Butch__2.1.1 ([Link nur für registrierte Mitglieder sichtbar.] )
Iltrovatore-Setaccio
IlTrovatore-Setaccio/1.2 (Indexing; [Link nur für registrierte Mitglieder sichtbar.] [Link nur für registrierte Mitglieder sichtbar.] )
Python-urllib/1.15
WebReaper v9.8 - [Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]
NCSA Beta 1 ([Link nur für registrierte Mitglieder sichtbar.] )
Pompos/1.3 [Link nur für registrierte Mitglieder sichtbar.]
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Welcome to Intrepid Travel; .NET CLR
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT)
mozDex/0.04-dev (mozDex; [Link nur für registrierte Mitglieder sichtbar.] [Link nur für registrierte Mitglieder sichtbar.] )
Opencontent-Syndication ([Link nur für registrierte Mitglieder sichtbar.] )
RobotAgent
Baiduspider+(+[Link nur für registrierte Mitglieder sichtbar.] )
Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) VoilaBot BETA 1.2 ([Link nur für registrierte Mitglieder sichtbar.] )
GetRight/4.5e
ObjectsSearch/0.01 (ObjectsSearch; [Link nur für registrierte Mitglieder sichtbar.] [Link nur für registrierte Mitglieder sichtbar.] )
ObjectsSearch/0.05 (ObjectsSearch; [Link nur für registrierte Mitglieder sichtbar.] [Link nur für registrierte Mitglieder sichtbar.] )
Mozilla/4.0 (compatible; Synapse)
Spinne/2.0
Exalead NG/MimeLive Client (convert/http/0.126)
Aport
WebFilter Robot 1.0
CrawlConvera0.1 ([Link nur für registrierte Mitglieder sichtbar.] )
[Link nur für registrierte Mitglieder sichtbar.]
TheUsefulbot_2.3.62 ([Link nur für registrierte Mitglieder sichtbar.] )
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT; MS Search 4.0 Robot)
Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)
Mackster( [Link nur für registrierte Mitglieder sichtbar.] )
Wotbox/alpha0.6 ([Link nur für registrierte Mitglieder sichtbar.] ; [Link nur für registrierte Mitglieder sichtbar.] )
IconSurf/2.0 favicon finder (see [Link nur für registrierte Mitglieder sichtbar.] )
IconSurf/2.0 favicon monitor (see [Link nur für registrierte Mitglieder sichtbar.] )
vspider
Jetbot/1.0 ([Link nur für registrierte Mitglieder sichtbar.] )
NetMechanic V4.0
Zeus 92621 Webster Pro V2.9 Win32
Zeus 81394 Webster Pro V2.9 Win32

hier ein paar links zu eintragsseiten:

[Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]
[Link nur für registrierte Mitglieder sichtbar.]

sehr feine idee...sowas lob ich mir...