robots.txt
 

Ich verwalte eine Webseite bei der sich im Laufe der Zeit ziemlich viel Muell angesammelt hat. Leider bin ich gezwungen, ihn dort liegen zu lassen, weil er nicht mir gehoert.

Was ich jetzt gerne moechte ist, dass Suchmaschinen alles bis auf 2 Unterverzeichnisse ignorieren. Als Loesung hab ich mir das so vorgestellt...

# robots.txt for http://www.eco-lighthouse.com/

User-agent: *
Disallow: /
Allow: /english/
Allow: /deutsch/

Das 'Allow' ist zwar nicht definiert, laut SelfHTML wir es aber trotzdem von den meisten Suchmaschinen verwendet. Die Frage ist jetzt, ob ein 'Allow' die vorherigen 'Disallow' ueberschreibt.

Probier mal den robots.txt validator:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

hmmm... ich bin vor kurzem im netz auf eine solche robots.txt gestossen :

:lol:
Hat hier jetzt einfach rein müssen :rolleyes: