Noch ist Obama keine 24 Stunden im Amt, schon wird an allen Ecken und Enden der USA etwas geändert. Mit dem Hochladen der neuen Inhalte auf www.whitehouse.gov ist auch die längste mir bekannte robots.txt Datei Geschichte, sie hatte gefühlte 89 Bildschirmseiten und ich habe sie nie abgespeichert, das google cache ist schon leer und archive.org hat Server-Problme 🙁 Sobald ich was habe, trage ich das hier nach.
Im MSN live Cache bin ich nun fündig geworden, deren robot war am 9.1. das letzte mal auf der Site:
http://cc.msnscache.com/cache.aspx?q=%22www+whitehouse+gov+robots+txt%22&d=75320168942549&mkt=de-DE&setlang=de-DE&w=4be343d6,5a788843
Warum die alte robots.txt überhaupt so lang war, konnte nie jemand erklären – bei Stichproben waren alle Inhalte aus den für Suchmaschinen gesperrten Seiten auch über google auffindbar.
2 Comments
Leave a Reply
Leave a Reply
Your email address will not be published. Required fields are marked *
You must be logged in to post a comment.
Moin Marcus,
ich denke, ich kann etwas ergänzen: Ich habe die robots.txt des Weißen Hauses am 14.05.2006 gespeichert und auf meine Site geschoben – weil ich damals meinen Muchkale-Test freigeschaltet habe.
Wiedergefunden hab ich das jetzt nur, weil ich mich gerade frage, was ich von den Inhalten meiner Site auf eine neue Version übernehmen soll. Deswegen bin ich die Files mal durchgegangen.
Frag mich jetzt aber bitte nicht, weshalb ich das damals gemacht habe; ich weiss es nicht mehr. Die Sache ist ja auch uralt, und es ist wieder mal nach Mitternacht.
Interessant ist der Nachtrag zu diesem Posting
http://blogoscoped.com/archive/2009-01-21-n75.html
der den Nachrichtenwert dieser Nachricht doch arg relativiert.