robots.txt

sleipner · 29.01.2003, 08:39

Ich verwalte eine Webseite bei der sich im Laufe der Zeit ziemlich viel Muell angesammelt hat. Leider bin ich gezwungen, ihn dort liegen zu lassen, weil er nicht mir gehoert.

Was ich jetzt gerne moechte ist, dass Suchmaschinen alles bis auf 2 Unterverzeichnisse ignorieren. Als Loesung hab ich mir das so vorgestellt...

# robots.txt for http://www.eco-lighthouse.com/

User-agent: *
Disallow: /
Allow: /english/
Allow: /deutsch/

Das 'Allow' ist zwar nicht definiert, laut SelfHTML wir es aber trotzdem von den meisten Suchmaschinen verwendet. Die Frage ist jetzt, ob ein 'Allow' die vorherigen 'Disallow' ueberschreibt.

29.01.2003, 08:39	#1
sleipner Senior Member Registriert seit: 03.10.2000 Beiträge: 176	robots.txt Ich verwalte eine Webseite bei der sich im Laufe der Zeit ziemlich viel Muell angesammelt hat. Leider bin ich gezwungen, ihn dort liegen zu lassen, weil er nicht mir gehoert. Was ich jetzt gerne moechte ist, dass Suchmaschinen alles bis auf 2 Unterverzeichnisse ignorieren. Als Loesung hab ich mir das so vorgestellt... # robots.txt for http://www.eco-lighthouse.com/ User-agent: * Disallow: / Allow: /english/ Allow: /deutsch/ Das 'Allow' ist zwar nicht definiert, laut SelfHTML wir es aber trotzdem von den meisten Suchmaschinen verwendet. Die Frage ist jetzt, ob ein 'Allow' die vorherigen 'Disallow' ueberschreibt.

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)