Vorgabe für die Verzeichnisse die durchsucht werden sollen, und das der Spider alle Links verfolgen soll, und die gefundenen Seiten indizieren kann.
Ich würde das mit den robots.txt lassen, viele Suchmaschinen unterstützen das nicht einmal, oder suchen nach unterschiedlichen Anweisungen in der robots.txt.
Ich kenne deine zerstückelten Seiten nicht, aber da läßt sich sicher ein Weg für Metatags im Head finden.
Zumindestens für die Startseite.
Viel Spaß beim Basteln
Sloter