robots.txt [Archiv] - PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr

Archiv verlassen und diese Seite im Standarddesign anzeigen :
robots.txt

Heiko-Saarland

10-04-2002, 15:32

:dontknow:
Noch ne Frage:
Auf meinen Log daten erscheint immer das bestimmte seiten nicht gefunden wurden und da erscheint eben nur eine nämlich robots.txt . Was hat es denn mit dieser datei auf sich? sollte man diese haben?
Sorry wenn die Frage blöd sein sollte aber ich mach das auch noch nicht so lange und muß mich noch etwas reinarbeiten

Danke

Heiko

MoRtAlAn

10-04-2002, 15:47

die Datei robots.txt ist nur für Suchmaschinen gedacht.

In ihr steht, welcher Suchrobot welches Verzeichnis aufnehmen darf, oder nicht und welche verzeichnisse auf gar keinen Fall indiziert werden sollen.

gruss

schmalle

10-04-2002, 18:33

sieht z.b. so aus:

##### ANFANG
User-agent: *
Disallow: /cgi-bin
Disallow: /intern

##### ENDE

Frosty

10-04-2002, 18:46

Des wäre denn was die Suchmaschienen ned durchsuchen dürfen ?? Sehe ich das richtig ?##### ANFANG
User-agent: *
Disallow: /cgi-bin
Disallow: /intern

##### ENDE

Gruß Frosty

MoRtAlAn

10-04-2002, 18:46

wer noch mehr wissen will:
http://www.robotstxt.org/wc/exclusion.html#robotstxt
http://www.robotstxt.org/

MoRtAlAn

10-04-2002, 18:47

disallow - verbieten
allow - erlauben/ gestatten

Heiko-Saarland

11-04-2002, 07:50

aha und das intern bzw. cgi-bin sind in diesem beispiel dann Ordner ?
Richtig?

MoRtAlAn

11-04-2002, 08:22

jepp

gruss

Heiko-Saarland

17-04-2002, 08:20

dankeschön hat mir sehr gehelft ;-))