jup, robots.txt einrichten ist imho die beste lösung. hilft nicht nur google, wird ja auch von allen andren webspidern benutzt.
ist auch ziemlich einfach, man kann leicht sagen wie oft der spider vorbeischaun soll (je nachdem ob sich häufiger oder seltener was ändert) und welche seiten genau indiziert werden sollen etc. aber mehr dazu steht eh im von pc.net geposteten link.
seh da in meiner apache errors.log seeeehr oft fehler dass die datei nicht gefunden wurde ... vl sollt ich auch mal eine machen
jedenfalls gibts da einträge vom yahoo spider, google und msn. sonst hab ich glaub ich noch keine gehabt. naja egal.