robots.txt

[Heiko-Saarland]

Noch ne Frage:
Auf meinen Log daten erscheint immer das bestimmte seiten nicht gefunden wurden und da erscheint eben nur eine nämlich robots.txt . Was hat es denn mit dieser datei auf sich? sollte man diese haben?
Sorry wenn die Frage blöd sein sollte aber ich mach das auch noch nicht so lange und muß mich noch etwas reinarbeiten

Danke

Heiko

[MoRtAlAn]

die Datei robots.txt ist nur für Suchmaschinen gedacht.

In ihr steht, welcher Suchrobot welches Verzeichnis aufnehmen darf, oder nicht und welche verzeichnisse auf gar keinen Fall indiziert werden sollen.

gruss

[schmalle]

sieht z.b. so aus:

##### ANFANG
User-agent: *
Disallow: /cgi-bin
Disallow: /intern

##### ENDE

[Frosty]

Des wäre denn was die Suchmaschienen ned durchsuchen dürfen ?? Sehe ich das richtig ?

##### ANFANG
User-agent: *
Disallow: /cgi-bin
Disallow: /intern

##### ENDE

Gruß Frosty

[MoRtAlAn]

wer noch mehr wissen will:
http://www.robotstxt.org/wc/exclusion.html#robotstxt
http://www.robotstxt.org/

[MoRtAlAn]

disallow - verbieten
allow - erlauben/ gestatten

[Heiko-Saarland]

aha und das intern bzw. cgi-bin sind in diesem beispiel dann Ordner ?
Richtig?

[MoRtAlAn]

jepp

gruss

[Heiko-Saarland]

dankeschön hat mir sehr gehelft ;-))