Feeds und die robots.txt

Meine Suchfunktion rechts oben basiert ja nun seit ein paar Tagen auf Google und funktioniert so weit ganz gut. Gestern habe ich allerdings nach ein paar Sachen gesucht und mir wurden ständig die Kommentarfeeds verschiedener Artikel als Ergebnisse angezeigt („Comments on: blablabla“). Nicht gut, aber wie verhindert man so etwas?

Relativ einfach geht das mit der robots.txt. Denn entgegen der Spezifikation versteht zumindest der Googlebot auch Wildcards und so kann man recht elegant ungewolltes ausschließen. Meine robots.txt enthält denn auch folgende Einträge:


User-agent: *
Disallow: /wp-
Disallow: /blogger
Disallow: */trackback$
Disallow: */trackback/$
Allow: /wp-content/uploads
User-agent: Googlebot
Disallow: */feed$
Disallow: */feed/$


Das sorgt erstmal dafür, dass alle wp-Verzeichnisse ignoriert werden, aber die hochgeladenen Bilder trotzdem in der Bildersuche erscheinen. Dann wird die Blogger-Seite ausgeschlossen, weil ich nicht mit den Inhalten fremder Blogs gefunden werden will und schlussendlich werden alle Urls, die auf „trackback“ enden ignoriert. Und dann – speziell für den Googlebot – kommt der Hinweis, dass die Feeds ebenfalls ignoriert werden sollen. Testen kann man das verhalten des Googlebots übrigens hervorragend mit den Google Webmaster Tools.

Frank Helmschrott beschreibt in seinem Blog noch eine andere Möglichkeit und zwar über ein Plugin, das im Feed einen bestimmten Wert setzt, der scheinbar auch die Indizierung durch Suchmaschinen verhindert.

Übrigens halten sich Dienste wie Blogfox, Feedster und Blogpulse an die Regeln in der robots.txt. Schreibt man die Feedregeln also in den Abschnitt für alle Bots wird man also wahrscheinlich nichts mehr von solchen Diensten haben. Technorati scheint sich aber nicht daran zu halten … eigentlich eine Frechheit. Wie es mit dem oben genannten Plugin aussieht? Keine Ahnung … ich finde die robots.txt Variante eleganter und hoffe, dass die Suchergebnisse bald auch tatsächlich nur Artikel und nicht irgendwelche Feeds hervorbringen :-)