Wie sag ichs den Robots?

Hallo

Seit Jahr und Tag werden durch die Robots Seiten auf meinem Server gesucht, die es seit Jahren nicht mehr gibt. Liegt es daran, dass bei nicht vorhandenen Seiten die Seite 404.php erscheint?

In der ersten Zeile der 404.php habe ich folgenden Eintrag:
header("HTTP/1.0 404 Not Found");
Es nützt aber nichts.
Hat jemand einen Tipp, wie man den Robots beibringt, nur noch die aktuellen Seiten zu suchen resp. zu scannen?

Gruss
Borsi

Evtl. übermittelst Du vorher schon einen Header 200.
Prüf die fragliche Url doch mal mit http://www.rexswain.com/httpview.html
da siehst Du, was für ein Header zurückkommt.

wie rufst Du den die 404.php auf?
ErrorDocument 404 /404.php

oder anders?

Hallo Thommyk

> Prüf die fragliche Url doch mal mit

Da wird die Seite 404.php gescannt.
HTTP/1.1�404�Not�Found(CR)(LF)
Date:�Fri,�16�Dec�2005�14:17:47�GMT(CR)(LF)
Server:�Apache/1.3.33�(Unix)�PHP/4.3.10�FrontPage/5.0.2.2510(CR)(LF)

> wie rufst Du den die 404.php auf?
> ErrorDocument 404 /404.php

Ja, genau so.

Gruss
Borsi