robots.txt

Noch ne Frage:
Auf meinen Log daten erscheint immer das bestimmte seiten nicht gefunden wurden und da erscheint eben nur eine nämlich robots.txt . Was hat es denn mit dieser datei auf sich? sollte man diese haben?
Sorry wenn die Frage blöd sein sollte aber ich mach das auch noch nicht so lange und muß mich noch etwas reinarbeiten

Danke

Heiko

die Datei robots.txt ist nur für Suchmaschinen gedacht.

In ihr steht, welcher Suchrobot welches Verzeichnis aufnehmen darf, oder nicht und welche verzeichnisse auf gar keinen Fall indiziert werden sollen.

gruss

sieht z.b. so aus:

##### ANFANG
User-agent: *
Disallow: /cgi-bin
Disallow: /intern

##### ENDE

Des wäre denn was die Suchmaschienen ned durchsuchen dürfen ?? Sehe ich das richtig ?

##### ANFANG
User-agent: *
Disallow: /cgi-bin
Disallow: /intern

##### ENDE

Gruß Frosty

wer noch mehr wissen will:
http://www.robotstxt.org/wc/exclusion.html#robotstxt
http://www.robotstxt.org/

disallow - verbieten
allow - erlauben/ gestatten

aha und das intern bzw. cgi-bin sind in diesem beispiel dann Ordner ?
Richtig?

jepp

gruss

dankeschön hat mir sehr gehelft ;-))