Noch ist Obama keine 24 Stunden im Amt, schon wird an allen Ecken und Enden der USA etwas geändert. Mit dem Hochladen der neuen Inhalte auf www.whitehouse.gov ist auch die längste mir bekannte robots.txt Datei Geschichte, sie hatte gefühlte 89 Bildschirmseiten und ich habe sie nie abgespeichert, das google cache ist schon leer und archive.org hat Server-Problme 🙁 Sobald ich was habe, trage ich das hier nach. Im MSN live Cache bin ich nun fündig geworden, deren robot war am 9.1. das letzte mal auf der Site:
http://cc.msnscache.com/cache.aspx?q=%22www+whitehouse+gov+robots+txt%22&d=75320168942549&mkt=de-DE&setlang=de-DE&w=4be343d6,5a788843
Warum die alte robots.txt überhaupt so lang war, konnte nie jemand erklären – bei Stichproben waren alle Inhalte aus den für Suchmaschinen gesperrten Seiten auch über google auffindbar.