robots.txt

sleipner · 29.01.2003, 08:39

Ich verwalte eine Webseite bei der sich im Laufe der Zeit ziemlich viel Muell angesammelt hat. Leider bin ich gezwungen, ihn dort liegen zu lassen, weil er nicht mir gehoert.

Was ich jetzt gerne moechte ist, dass Suchmaschinen alles bis auf 2 Unterverzeichnisse ignorieren. Als Loesung hab ich mir das so vorgestellt...

# robots.txt for http://www.eco-lighthouse.com/

User-agent: *
Disallow: /
Allow: /english/
Allow: /deutsch/

Das 'Allow' ist zwar nicht definiert, laut SelfHTML wir es aber trotzdem von den meisten Suchmaschinen verwendet. Die Frage ist jetzt, ob ein 'Allow' die vorherigen 'Disallow' ueberschreibt.

K@sperl · 31.01.2003, 17:58

Probier mal den robots.txt validator:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

01.02.2003, 17:45

Zitat:

Original geschrieben von Flanders
Probier mal den robots.txt validator:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

hmmm... ich bin vor kurzem im netz auf eine solche robots.txt gestossen :

Code:

FUCK OFF !

Hat hier jetzt einfach rein müssen

29.01.2003, 08:39	#1
sleipner Senior Member Registriert seit: 03.10.2000 Beiträge: 176	robots.txt Ich verwalte eine Webseite bei der sich im Laufe der Zeit ziemlich viel Muell angesammelt hat. Leider bin ich gezwungen, ihn dort liegen zu lassen, weil er nicht mir gehoert. Was ich jetzt gerne moechte ist, dass Suchmaschinen alles bis auf 2 Unterverzeichnisse ignorieren. Als Loesung hab ich mir das so vorgestellt... # robots.txt for http://www.eco-lighthouse.com/ User-agent: * Disallow: / Allow: /english/ Allow: /deutsch/ Das 'Allow' ist zwar nicht definiert, laut SelfHTML wir es aber trotzdem von den meisten Suchmaschinen verwendet. Die Frage ist jetzt, ob ein 'Allow' die vorherigen 'Disallow' ueberschreibt.

31.01.2003, 17:58	#2
K@sperl bitte Mailadresse prüfen! Registriert seit: 03.04.2001 Beiträge: 2.387	Probier mal den robots.txt validator: http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)