ja tausende  ....
im prinzip kannst bei jeder URL ein /robots.txt anhängen und schauen ... z.b. www.heise.de/robots.txt - gibts natürlich nicht überall (nicht jeder webmaster verwendet sie)
da siehst dann eh gleich die syntax und dann paßt du sie für dich an...
lg, catch17
oder hier von wcm http://www.wcm.at/robots.txt
lg,
____________________________________
...wenn Ihr hungert, wenn Ihr dürstet - ihr seit nicht allein, wenn Ihr krank seit wenn Ihr leidet - Ihr seit nicht allein -- ER kümmert sich auch um andere NICHT
|