hallo! ich bin jetzt net sicher aber ich glaub du hast mal vor einiger zeit diesen artikel im wcm geschrieben! (hab die ausgabe aber leider nimmer)
wollt noch nach ein paar kunstgriffen fragen ...

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /logs/

(stimmt das jetzt so ... jetzt werden diese verzeichnisse nicht durchsucht oder ?)

<meta name="robots" content="index">
<meta name="robots" content="follow">
<meta name="robots" content="all">
<meta name="revisit-after" CONTENT="10 days">

(ist das so sinnvoll? gibs noch ein paar die nützlich wären?)

so ... hab noch was gefunden .. was tut dass?

directives = directive ["," directives]
directive = index | follow

Frage 1: werden nicht durchsucht

Frage 2: Sind richtig, aber IMHO ist die Zeit für den Wiederbeuch nicht notwendig, die Spider kommen regelmässig von alleine, und/oder ignorieren oft den tag für die wiederkehr.

Frage 3: Die gehören in den robot.txt, sind aber schon ein wenig out.

Die besten Erfahrungen (in punkto Ranking) habe ich mit Metatags in jeder Seite gemacht.
So erhöhe ich ungemein die Wahrscheinlichkeit, das die Seiten ganz oben plaziert werden.
20 Seiten / 20 mal mehr möglichkeit für ein gutes Ranking, als bei einer robots.txt.

Kleiner Beweis: Meine Page www.onlinetravel.at
gehe in irgendeine Suchmaschine (Altavista,Lycos)und suche mit "Vietnam,Tauchen"

Sloter

erstmals danke ...
bis jetzt hab ichs auch immer so gemacht (ich mein die Metatags auf jeder Seite) ... aber da ich meine seite jetzt "zusammenstückle" (include) hab ich nimmer so viele seiten ... und deshalb hab ich mir gedacht ich versuchs mal mit dem robots.txt
noch zu frage 3 ... was bedeutet das überhaupt ?

Vorgabe für die Verzeichnisse die durchsucht werden sollen, und das der Spider alle Links verfolgen soll, und die gefundenen Seiten indizieren kann.

Ich würde das mit den robots.txt lassen, viele Suchmaschinen unterstützen das nicht einmal, oder suchen nach unterschiedlichen Anweisungen in der robots.txt.
Ich kenne deine zerstückelten Seiten nicht, aber da läßt sich sicher ein Weg für Metatags im Head finden.
Zumindestens für die Startseite.

Viel Spaß beim Basteln :)

Sloter

ok ... wenn das mit der robots.txt wirklich so ein müll ist werd ichs lassen :) auf meiner startseite kann ich natürlich die metatags einbauen und noch auf ein paar andren auch ... ich wollte es einfach haben und immer nur eine datei umändern und nicht alle :) :) bin halt faul ...
also die indexseite meiner homepage (noch nicht ganz fertig) http://www.searchingtheweb.de/ besteht aus 6 seiten.

noch eine sache ... kennst du ein gutes freies script für kleinanzeigen ? php,cgi.... egal mein webspace frist eh alles ... danke noch mal

Kenne leider kein Script für Kleinanzeigen, aber auf den diversen Seiten findest du sicher eines.

Nicht vergessen: Den Text auf den Seiten mit den Suchwörtern abzustimmen. Das ist die optimale Vorgabe für ein gutes Ranking.
Zb: Suchwort-Searchtheweb
Unser Searchtheweb Projekt ist einmalig, und Searchtheweb garanitiert das sie alles finden auf unserer Searchtheweb Page, usw..

Das was ich nicht gefunden habe, war ein Link auf deiner Page, damit ich meine Seite in deinen Linklisten eitragen kann.

Sloter

shit ... doch zu unübersichtlich meine site ... schreibe eh schon eine faq unter hilfe ... auf der rechten seite findest du Neue Seiten - Populäre Seiten - Seite Eintragen ... und unter seite eintragen kannst du deine seite dann eintragen (toller satz) ... 2 möglichkeiten ... zuerst in die richtige kategorie gehn und dann auf eintragen drücken oder seite eintragen drücken und dann die richtige kategorie auswählen ...