robots.txt

[sleipner]

Ich verwalte eine Webseite bei der sich im Laufe der Zeit ziemlich viel Muell angesammelt hat. Leider bin ich gezwungen, ihn dort liegen zu lassen, weil er nicht mir gehoert.

Was ich jetzt gerne moechte ist, dass Suchmaschinen alles bis auf 2 Unterverzeichnisse ignorieren. Als Loesung hab ich mir das so vorgestellt...

# robots.txt for http://www.eco-lighthouse.com/

User-agent: *
Disallow: /
Allow: /english/
Allow: /deutsch/

Das 'Allow' ist zwar nicht definiert, laut SelfHTML wir es aber trotzdem von den meisten Suchmaschinen verwendet. Die Frage ist jetzt, ob ein 'Allow' die vorherigen 'Disallow' ueberschreibt.