Liste der User-Agents der Bots

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • Liste der User-Agents der Bots

    Hallo,

    da ich kürzlich eine Site geprogged habe, die auf Session's basiert, möchte ich nun noch für die (wichtigsten) Suchmaschinenroboter die PHPSESSID in der Url verhindern.

    Ein paar Übersichtslisten a'la 'User-Agent -> SuMa' hab ich schon dazu gefunden. Nun wär es nicht schlecht wenn es eine Liste in reiner Textform (z.B. csv) gäbe, mit der man sich in regelmässigen Abständen automatisch abgleichen könnte.

    Weiß jemand ne Url mit einer derartigen Liste als Inhalt?

    Falls es sowas nicht gibt:
    Sind bei den wichtigsten SuMa's die User-Agents-Angaben der Roboter 'stabil' oder ändern die sich die Angaben von Zeit zu Zeit?

    Gruss
    Quetschi
    Ihr habt ein Torturial durchgearbeitet, das auf den mysql_-Funktionen aufbaut?
    Schön - etwas Geschichte kann ja nicht schaden.
    Aber jetzt seht euch bitte php.net/pdo oder php.net/mysqli bevor ihr beginnt!

  • #2
    Sind bei den wichtigsten SuMa's die User-Agents-Angaben der Roboter 'stabil' oder ändern die sich die Angaben von Zeit zu Zeit?
    sind stabil, afaik. wird von einem spider eine neue version rausgebracht, ändert sich der agent natürlich ...

    listen findest du ja zu hauf, vorhin gesehen: http://www.gerin.de/download/spiders.txt

    btw: sessions, sumas, ...

    edit: die drei wichtigsten sind wohl guugle, yahoo und msn ... starte doch die session erst, wenn nötig. spider kommen doch eh selten in diese bereiche.
    Die Zeit hat ihre Kinder längst gefressen

    Kommentar


    • #3
      Vielen Dank für den Link Die User-Agent-Angaben hier sind aber leider sehr rudimentär

      Ich denke ich werde mich hierfür wirklich nur um die 'großen Drei' kümmern und die Agents manuell pflegen.

      Original geschrieben von derHund
      ... starte doch die session erst, wenn nötig. spider kommen doch eh selten in diese bereiche.
      Bisher hatte ich Session's nur für Login-Bereiche usw. verwendet, in diesen Bereichen sperre ich Roboter sowieso aus.

      Bei der Site um die es mir hier jetzt geht sind Sessions aber vom Start weg unabdingbar, da es ein ziemlich komplexes Gerüst aus verschiedenen Domains ist, die aber alle auf ein zentrales Script zurückgreifen welches dann erst aus verschiedenen Daten aus der Session heraus entscheidet welches Template geladen wird, welche Tabelle bzw. Tabellenkombinationen usw. (pro Konfiguration ca. 20 Parameter) abgefragt werden.

      Für die SuMa-Indizierung kann ich daher praktisch auch ned auf die Sessions verzichten, allerdings habe ich hier vor nicht eine PHPSESSID in die Url einfliessen zu lassen, sondern einen kurzen, fixen Parameter für jede SuMa anhand dessen ich dann ne SuMa beim Spidern verfolgen und leiten kann.
      Ihr habt ein Torturial durchgearbeitet, das auf den mysql_-Funktionen aufbaut?
      Schön - etwas Geschichte kann ja nicht schaden.
      Aber jetzt seht euch bitte php.net/pdo oder php.net/mysqli bevor ihr beginnt!

      Kommentar


      • #4
        Schau dich mal bei http://www.pgts.com.au/pgtsj/pgtsj0212d.html um.

        Kommentar


        • #5
          Yes, entspricht genau meiner Vorstellung, DANKE
          Ihr habt ein Torturial durchgearbeitet, das auf den mysql_-Funktionen aufbaut?
          Schön - etwas Geschichte kann ja nicht schaden.
          Aber jetzt seht euch bitte php.net/pdo oder php.net/mysqli bevor ihr beginnt!

          Kommentar

          Lädt...
          X