Yahoo! Slurp zieht um 0
Kategorie: Suchmaschinen, Yahoo!28. März 2007
Wie Yahoo! heute bekannt gab wird der hauseigene Crawler Slurp von inktomisearch.com auf crawl.yahoo.net umziehen. Die Bezeichnung des User-Agent “Yahoo! Slurp” wird dabei erhalten. Die IP-Adressen werden ebenfalls geändert. Nur der Reverse-DNS-Lookup wird dann die neue Adresse crawl.yahoo.net liefern.
Dies sollte man natürlich berücksichtigen sofern, man Einträge an der robots.txt vorgenommen hat oder durch eine Reverse-DNS Prüfung die Identität des Crawlers abfragt.
No tag for this post.
![[Valid RSS]](../../../wp-images/valid-rss.png "Validate my RSS feed"){kind=small}