Tweet
Gibt es mittels PHP eine Möglichkeit Spider ohne konkreten Abgleich der IPs bsw. aus einer DB von "Menschen" zu unterscheiden? (Ausgenommen der abgeänderte User-Agent.)
-
-
Wie sollte denn das gehen wenn der Spider mit dem User Agent IE6 bei dir zu Besuch kommt ? Du kannst nur den User Agent auswerten und dich darauf verlassen, dass die Spiders einen korrekten User Agent senden. Dazu gibt es Listen im www mit den Agents verschiedener Spiders...
Gruss
tobiGutes Tutorial | PHP Manual | MySql Manual | PHP FAQ | Apache | Suchfunktion für eigene Seiten
[color=red]"An error does not become truth by reason of multiplied propagation, nor does truth become error because nobody sees it."[/color]
Mohandas Karamchand Gandhi (Mahatma Gandhi) (Source) -
pauschal und leider praxisfern fällt mir gerade noch ein, dass die spider sich (meistens) schneller auf der seite bewegen als menschen und die links in der reihenfolge besuchen, in der sie im quellcode vorkommen.Kommentar
-
Spider loggen sich im allgemeinen nicht ein.....Spider .... von "Menschen" zu unterscheiden?
Wenn man die SID Übergabe per Url verhindert, ist doch alles OK...
Dann können, sollen und dürfen die Spider doch nach belieben über die Seite rasen, oder nicht??
PS:
Gute Spider lesen die robots.txt
Böse kann man mit keinem Mittel aufhalten..Kommentar
-
oh, die modernen spider akzeptieren cookies, verlangsamen ihre navigation durch die seite und bauen eine gewisse zufallskomponente in die reihenfolge der besuchten seiten ein - hunderprozentig ist man leider niemals sicher...Original geschrieben von combie
Wenn man die SID Übergabe per Url verhindert, ist doch alles OK...Kommentar
-
oh, die modernen spider akzeptieren cookies,
Meine ich ja gar nicht so ..... und habe ich auch nichts gegen
Deutlicher:
Wenn eine Suchmaschine URLs mit SID findet und in ihren Index einträgt, dann hat man u.U. plötzlich hunderte von Usern mit der gleichen SID auf der Seite!
Und das gilt es zu vermeiden..Kommentar
Kommentar