Schlagwort: robots.txt
-
Supplemental Index Hölle
Faszinierenderweise und durch Lum in den Kommentaren darauf gebracht, weiß ich nun, dass beinahe alle meine Artikel in Googles Supplemental Index Hölle gelandet sind. Warum auch immer … vor ein paar Monaten habe ich mal ein bisschen aufgeräumt und meine robots.txt und Metatags angepasst, damit Google&Co nicht immer die Kommentarfeeds und Kategorieseiten indizieren. Es hat…
-
Feeds und die robots.txt
Meine Suchfunktion rechts oben basiert ja nun seit ein paar Tagen auf Google und funktioniert so weit ganz gut. Gestern habe ich allerdings nach ein paar Sachen gesucht und mir wurden ständig die Kommentarfeeds verschiedener Artikel als Ergebnisse angezeigt („Comments on: blablabla“). Nicht gut, aber wie verhindert man so etwas? Relativ einfach geht das mit…