Webseite von anderem Server auslesen..

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • Webseite von anderem Server auslesen..

    Hallo zusammen,
    ich möchte ein kleines Script schreiben, was mir eine Menge Arbeit beim Katalogisieren von Büchern abnehmen soll.

    Ich habe mir folgendes gedacht:
    Man tippe die ISBN ein und bekommt den Rest der Daten geliefert..

    Als Informationsquelle soll bookbutler.com dienen, da hier die Daten recht leicht auslesbar sind..

    Mein Problem ist nun aber, dass ich gar nicht erst an die Daten komme, da mich bookbutler irgendwie als server zu erkennen scheint und mich dann blockt...

    Ansätze, die ich bisher versucht habe:
    PHP-Code:
    $fp =file_get_contents("http://de.bookbutler.com/do/bookSearch?searchFor=".$_POST[isbn_v]."&searchBy=isbn&searchIn=de&shipTo=de&amountIn=eur");

    echo 
    $fp
    PHP-Code:
    $socket fsockopen ("de.bookbutler.com"80);

    fputs($socket"GET /do/bookSearch?searchFor=".$_POST[isbn_v]."&searchBy=isbn&searchIn=de&shipTo=de&amountIn=eur HTTP/1.1\r\n");
    fputs($socket"Host: de.bookbutler.com\r\n");
    fputs($socket,"Content-type: application/x-www-form-urlencoded\r\n");
    fputs($socket"User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)\r\n");
    fputs($socket"Connection: closern\r\n");
    while (!
    feof($socket)) 
    {
     
    $buf .= fgets($socket,1024);
    }
    fclose($socket); 
    PHP-Code:
    $file fopen ("http://de.bookbutler.com/do/bookSearch?searchFor=".$_POST[isbn_v]."&searchBy=isbn&searchIn=de&shipTo=de&amountIn=eur""r");
        while (
    $line fread ($file500))
           
    $edit_content.= htmlspecialchars ($line);
          
    fclose ($file);
        
        echo 
    $edit_content
    PHP-Code:
    readfile(..); 
    Egal was ich nutze, ich werde immer "enttarnt", die Tatsache, dass ich das Script auf meinem normalen 0815 Rechner laufen lasse (Xampp) hat anscheinend keinen Einfluss auf den Vorgang (habe es auch bei meinem Hoster versucht)...

    Hoffe ihr habt eine Idee, wie ich das Problem lösen kann.

    Gruß
    bysnake

    PS: Der Dienst soll nur auf meinem rechner laufen, und nicht im I-Net erreichbar sein (also am Rechner / Einstellungen könnte man was ändern..)

  • #2
    Böse böse böse ... sieh zu, dass das für Dich nicht teuer wird.
    carpe noctem

    [color=blue]Bitte keine Fragen per EMail ... im Forum haben alle was davon ... und ich beantworte EMail-Fragen von Foren-Mitgliedern in der Regel eh nicht![/color]
    [color=red]Hinweis: Ich bin weder Mitglied noch Angestellter von ebiz-consult! Alles was ich hier von mir gebe tue ich in eigener Verantwortung![/color]

    Kommentar


    • #3
      Re: Webseite von anderem Server auslesen..

      Original geschrieben von bysnake
      fputs($socket,"Content-type: application/x-www-form-urlencoded\r\n");
      Mir gefällt diese Zeile nicht, es werden ja gar keine Post-Daten mitgesandt (fputs ed). Warum sonst sollte es im request ein Content-type: haben ?
      gibt es da nicht irgendeinen Datentransfer-Sniffer, ich weiss bloss nicht wie er heisst.

      Kommentar


      • #4
        Original geschrieben von goth
        Böse böse böse ... sieh zu, dass das für Dich nicht teuer wird.
        In wiefern mache ich mich denn Strafbar, wenn ich die Daten lediglich auf meinem EIGENEN Rechner in eine Datenbank speichere, die öffentlich nicht einzusehen ist?

        @heiss:
        Hast recht, wenn ich darüber nachdenke ist das ziemlich mist, den ich da fabriziert habe...


        Hoffe ihr habt sonst noch Ansätze..

        PS: Es würde mich nebenbei auch interessieren, inwiefern die Anfrage des Servers anders aussieht als die eines Browsers?


        Besten Dank trotzallem schonmal


        EDIT: Sollte jemand einen Server kennen, bei dem dieses Problem nicht Auftritt und der den Zugiff auf seine Daten erlaubt, dann würde sich mein Problem natürlich erübrigen..
        Gruß
        bysnake

        Kommentar


        • #5
          Original geschrieben von bysnake
          Hoffe ihr habt sonst noch Ansätze..

          Es würde mich nebenbei auch interessieren, inwiefern die Anfrage des Servers anders aussieht als die eines Browsers?
          "Die Formularseite anfordern, ausfüllen+absenden, die Antwort bekommen...."

          anstatt nur "+absenden, die Antwort bekommen..."

          wenn die halbwegs drauskommen, haben sie sich per session und-oder hidden fields gemerkt, wer das Formular verlangt hat.

          Vielleicht hilft Dir auch libCurl weiter. sowie ein traffic-analyzer, wobei das hier schon genannt wurde ich aber jetzt gerade nicht weiss. Etwas herumsuchen in diesem Forum, wie man headers einer Webseite bekommen kann, als Startpunkt.

          Die Fragestellung ist interessant, und eigentlich kann der server es am Schluss nicht merken

          Kommentar


          • #6
            Original geschrieben von bysnake
            In wiefern mache ich mich denn Strafbar, wenn ich die Daten lediglich auf meinem EIGENEN Rechner in eine Datenbank speichere, die öffentlich nicht einzusehen ist?
            Urheberrecht und Nutzungsbestimmungen die irgendwo zuunterst auf der webseite erwähnt sind. Weil es Buchhandel ist, sind die ISBN-Daten auch nicht seine eigenen und er ist verpflichtet solche unlizenzierten Nutzungen zu unterbinden. Das muss ich nicht konkret nachschauen, das ist so klar wie "Hello World".php

            Kommentar


            • #7
              Original geschrieben von heiss wenn die halbwegs drauskommen, haben sie sich per session und-oder hidden fields gemerkt, wer das Formular verlangt hat.
              ok, dürfen wir jetzt alle mutmaßen?
              vielleicht haben die auch gemerkt, dass von der ip x in der zeitspanne y equests der menge z erfolgten.

              Kommentar


              • #8
                Wenn man es weiss, ist es einfach. In der Zwischenzeit helfen Hypothesen aus und weiter.

                Kommentar


                • #9
                  das war allerdings auch nur eine hypothese

                  Kommentar


                  • #10
                    Nein, das ist Tatsache. Man kann 5, 10, 20 Hypothesen probieren, bis man die Lösung entweder hat oder sieht.

                    Kommentar


                    • #11
                      http://amazoop.sourceforge.net/

                      Kommentar


                      • #12
                        Original geschrieben von Koala
                        http://amazoop.sourceforge.net/
                        Ist das eine Falle?

                        Kommentar


                        • #13
                          Original geschrieben von 3DMax
                          ok, dürfen wir jetzt alle mutmaßen?
                          vielleicht haben die auch gemerkt, dass von der ip x in der zeitspanne y equests der menge z erfolgten.
                          Da hast du schlecht aufgepasst, es hat beim Frager nie funktioniert. Deine Menge z müsste also 1 oder
                          weniger sein. Nun wissen wir aber, dass schon überabzählbar viele Zahlen z <= 1
                          gefunden wurden, dazu noch das Cantor'sche Auswahlkriterium und der Wohlordnungssatz von Zermelo....

                          Kommentar


                          • #14
                            Original geschrieben von heiss
                            Ist das eine Falle?
                            wieso ne Falle?

                            Da kann man ganz legal Daten von Amazon auslesen.

                            Hier die Beispielabfrage der ISBN:

                            http://amazoop.sourceforge.net/docs/....isbn.pkg.html

                            Kommentar


                            • #15
                              Original geschrieben von heiss
                              Urheberrecht und Nutzungsbestimmungen die irgendwo zuunterst auf der webseite erwähnt sind. Weil es Buchhandel ist, sind die ISBN-Daten auch nicht seine eigenen und er ist verpflichtet solche unlizenzierten Nutzungen zu unterbinden. Das muss ich nicht konkret nachschauen, das ist so klar wie "Hello World".php
                              Halte ich für wenig stich und hiebfest...

                              @Koala... DANKE, damit haben sich alle rechtlichen sowie Programiertechnichen Fragen im Nu gelöst

                              Kommentar

                              Lädt...
                              X