Der „Robots Exclusion Standard“ aus Rechercheursperspektive
Die Arbeitsweise aller Suchmaschinen beim Auffinden neuer Webseiten ist unspektakulär: Spezielle Programme, Robots, Bots oder Spider genannt, durchsuchen bekannte Webseiten nach Hyperlinks und laden die dadurch gefundenen Seiten via HTTP, um sie entweder in die Datenbank der Suchmaschine aufzunehmen, oder um sie in gleicher Weise zu durchsuchen. Konzeptionell ist dieser Vorgang ist bei allen Suchmaschinen wenig unterschiedlich (sie variieren vor allem in der Suchfrequenz und den zur Kenntnis genommenen Dateitypen).
Fast jede Website hat Dateien oder Verzeichnisse, die für eine Suchmaschine nicht von Interesse sind, zum Beispiel Hintergrundgrafiken, Logos, Buttons, Longdesc-Texte usw. Andere, zum Beispiel in Framesets verwendete Navigationsspalten, soll eine Suchmaschine zwar nach deren Links durchsuchen, sie aber nicht selbst im Index aufführen, da die Navigationsspalte für sich genommen inhaltsleer ist – sie verweist ja nur auf die Inhaltsseiten. Das Wissen um diese Details hat selbstverständlich der Webadmin der entspechenden Site.
Um die Kommunikation zwischen Webadmins und Suchmaschinen zu ermöglichen und zu systematisieren, wurde nach Diskussionen in einer Mailingsliste der Robots Exclusion Standard (RES) geschaffen. Er wurde niemals in den Kanon der RFC oder anderer Normensammmlungen aufgenommen, wird aber sehr häufig beachtet. Am wichtigsten ist vielleicht, dass die Wayback Machine den RES anwendet.
Webmaster haben zwei Möglichkeiten, den RES zu nutzen: Sie können eine Datei robots.txt erstellen, und sie können in jeder HTML-Seite Metatags anbringen.
Die Datei robots.txt
Die Datei „robots.txt“ (deren Name aus Kompatibilitätsgrunden die 8/3-Konvention für Dateinamen einhält) muss als ASCII-Textdatei im Stammverzichnis der Website liegen. Ihr URL lautet also immer „http://[domain]/robots.txt“.
In ihr kann der Webadmin festlegen, welche Dateien und Verzeichnisse der Spider ignorieren soll. Dabei kann er Wildcards einsetzen und Anweisungen an bestimmte Spider geben, sofern deren Bezeichnungen bekannt sind.
Wenn ein Spider diese Datei liest und beachtet, werden bestimmte Dateien und Verzeichnisse also gar nicht erst an den Spider übertragen.
Die RES-Metatags
Zusätzlich kann in jede HTML-Datei der Metatag „meta name=’robots‘ content=’index,follow'“ geschrieben werden. Dieser richtet sich unterschiedlos an alle Spider und setzt voraus, dass die entsprechende Datei übertragen und ihre Inhalte verarbeitet wurden. Die möglichen Angaben ‚index’/’noindex‘ geben an, ob die Inhalte der Seite indiziert werden sollen, ‚follow’/’nofollow‘ bezieht sich auf die Nachverfolgung von Hyperlinks. Soweit die Theorie…
Praktische Auswirkungen
Der immanente Widersinn des RES liegt auf der Hand: Es muss explizit genannt werden, was verschwiegen sein soll. Zum einen halten sich nicht alle Suchmaschinen an den RES, sei es, dass sie ihn ignorieren, sei es, dass sie gar die robots.txt gezielt auswerten.
Zum Zweiten ist der RES ursrpünglich gedacht, um Suchmaschinen von Dateien fernzuhalten, die sie ohnehin nicht benötigen: Grafiken ohne wirklichen Inhalt oder Skripten im Verzeichnis „/cgi-bin“ etwa. Spätestens aber, seit archive.org die robots.txt auswertet, um zu erfahren, was nicht (öffentlich zugänglich) archiviert werden soll, müssen Webadmins auch sensible Informationen bekannt geben. Das macht die robots.txt für Rechercheure interessant. Schon allein, weil man mit einem Blick feststellen kann, ob der Verantwortliche den Unterschied zwischen einer unverbindlichen Nachricht an Spider und einem Passwordschutz für Verzeichnisse (der ja auch Suchmaschinen aussperrt) kennt.
Das Beispiel
Das wird klar, wenn man einen Blick in die robots.txt des Weißen Hauses wirft. (Um deren Webadmin nicht durch zu viele Klicks zu beunruhigen, verlinke ich hier auf eine lokal gespeicherte Kopie dieser Datei vom 14. Mai).
Auffällig ist, dass der Webadmin des Weißen Hauses vor allem die Texte der Website aus öffentlichen Suchmaschinen und der Wayback Machine heraushalten möchte.
Wohlvermerkt: Es ist nicht unsinnig, dass die Site des Weißen Hauses den RES nutzt: Für den (vermutlich regierungsinternen) Spider namens „whsearch“ sind die „Disallow“-Zeilen sehr viel weniger, und dem Anschein nach sinnvoll für eine umfassende Textsuche.
Seine Anwendung ist aber unüberlegt. Stellvertretend für viele andere Websites liefert die robots.txt des US-Präsidenten quasi eine Übersicht über heikle Inhalte. Aus technischer Perspektive ist dies Vorgehen unsinnig. Die Verantwortlichen hätten den Webserver so konfigurieren können, dass z.B. nur Anfragen von bestimmten IP-Adressen erfolgreich sind, während allen anderen (inklusive Suchmaschinen) Fehlermeldungen oder unsensible Inhalte geliefert werden.
Fazit: Beim Durchleuchten einer Website ist ein Blick in die robots.txt (oder deren Beobachtung z.B. durch Webdienste wie Changenotes obligat. Insbesondere kann die Datei Hinweise liefern, welche Inhalte die Betreiber einer Website als heikel ansehen, wenn sie nicht sogar eine ‚alternative Navigation‘ ermöglicht.
[AUde]
Moin Falk,
ich stimme Dir zu und nicht zu und voll zu…
Ich stimme Dir nämlich zu, dass auf einem Webserver eigentlich „Heikles“ nichts verloren hat.
Aber wenn ich eine Website durchrecherchiere, gehört der Blick in die robots.txt zum Pflichtprogramm, schon wegen der darin enthaltenen Informationen über die Struktur der Site.
In einem aber stimme ich Dir voll zu: “ Vielleicht gibt es den einen oder anderen depperten Webmaster, der auf seine robots.txt vertraut.“
Ja!
GvA
Ich halte die Empfehlung, die robots.txt zu durchleuchten für üble Zeitvernichtung.
Vielleicht gibt es den einen oder anderen depperten Webmaster, der auf seine robots.txt vertraut. Für alle, die halbwegs bei Verstand sind, gilt: „Heikles“ gibt’s nicht in einem Veröffentlichungsverzeichnis. Auch nicht mit einem Passwortschutz.
Die meisten der Hunderten mehr oder weniger bösen Crawler, die heutzutage unterwegs sind, halten sich ohnehin nicht an die Anweisungen. Die Verwendung einer robots-Datei oder von deren Metapendants dient mithin nur dazu, die Indexqualität der Suchmaschinen mit gutwilligen Crawlern zu verbessern. Natürlich aus Eigennutz, um im Index möglichst nur sinnvolle Einträge der eigenen Site zu haben.
cul,
Falk
Moin,
es stimmt selbstverständlich, was Thomas schreibt: „kein Webadmin ist gezwungen wegen der robots.txt vertrauliche Daten preiszugeben. Wer Daten wirklich sichern will, schaltet halt einen Passwortschutz ein.“ Allerdings weiss ich (dazu reicht der allmorgendliche Blick in den Spiegel), dass viele Webadmins dumm, gedankenlos oder beides sind.
Es stimmt auch, dass die robots.txt des Weißen Hauses keine brisanten Staatsgeheimnisse offenlegt. Sie ist lediglich ein Beispiel von didaktischem Wert; Henk van Ess setzt sie in seinen Seminaren ein. Ich will mit dem Posting lediglich darauf hinweisen, dass der Blick in die robots.txt zum Scan einer Website gehört.
Ich habe auch sschon ein, zwei Mal interssante Ausnahmen in einer robots.txt gefunden, aber nie wirklich brisantes. Whitehouse.gov ist wie Marcus schreibt ebenfalls nichts derartiges.
Vor übersteigerten Schlussfolgerungen würde ich warnen: kein Webadmin ist gezwungen wegen der robots.txt vertrauliche Daten preiszugeben. Wer Daten wirklich sichern will, schaltet halt einen Passwortschutz ein.
Irre ich oder hat die lange robots.txt des Weißen Hauses vor allem den Zweck, über Suchmaschinen nur designte Seiten mit Fotos und Grafiken findbar zu machen. Zum einen habe ich leider, leider keine heiklen Inhalte gefunden und zum anderen finden sich in Stichproben die Inhalte der ausgeschlossenen Verzeichnisse auch allesamt auf bunten Bilder-cum-Grafik-Seiten. Andere Erklärungen, irgendjemand? Ich bin schon ganz Ohr 🙂