Tweet
Guten Tag,
ich habe folgendes Problem: Gibt es eine Möglichkeit automatisiert eine umfangreiche Webseite zu durchsuchen und bestimmte Inhalte automatisch in eine SQL-Datenbank zu kopieren ?
Zur näheren Erläuterung: Es geht um eine Seite mit einem umfangreichen News-Archiv, man wählt in einem Formular das Datum und ein Schlüsselwort und erhält eine Übersicht mit allen News vom gewählten Tag die das Schlüsselwort enthalten. Diese kann man dann einzeln anklicken und kann die komplette News lesen.
Das Script/Programm/wasauchimmer müsste also nacheinander alle möglichen Daten mit dem Schlüsselwort durchgehen, die entsprechenden News 'anklicken' und, falls es eine serverseitige Lösung gibt, den Text in die Datenbank bzw. in einem SQL-kompatiblen Format in eine Textdatei speichern falls es für sowas Desktop-Programme gibt.
Bevor wegen copyright gemeckert wird, die rechtlcihen Fragen sind alle geklärt und ich habe die Erlaubnis die für mich interessanten Sachen zu übernehmen, allerdings war leider niemand dazu bereit (oder in der Lage) mir einen entsprechenden DB-Dump zur Verfügung zu stellen und das alles von Hand zu machen ist reichlich mühsam
Mich würde erstmal interessieren womit man sowas überhaupt realisieren kann (Perl, PHP ?) oder ob es da vielleicht was 'vorgefertigtes' für gibt, was ich eigentlich schon denke, schliesslich hört man ja immer von irgendwelchen Leuten die tausende Webseiten nach Mailaddys fürs Spammen durchsuchen, das muss ja so ähnlich funktionieren.
Mit meinen Grundkenntnissen in PHP hab ich zwar schon ein bisschen rumprobiert, schliesslich werden ja zb die Variablen fürs Datum auch ganz normal an die URL drangehangen, aber ich hab keine Ahnung ob und wie man fremden Code in eigene Scripte einbinden soll um diesen dann weiter zu verarbeiten...
ich freue mich über jeden Hinweis, suche schon lange nach einer Lösung, habe aber wohl auch nicht die richtigen Suchbegriffe benutzt...
Vielen Dank im Voraus.
ich habe folgendes Problem: Gibt es eine Möglichkeit automatisiert eine umfangreiche Webseite zu durchsuchen und bestimmte Inhalte automatisch in eine SQL-Datenbank zu kopieren ?
Zur näheren Erläuterung: Es geht um eine Seite mit einem umfangreichen News-Archiv, man wählt in einem Formular das Datum und ein Schlüsselwort und erhält eine Übersicht mit allen News vom gewählten Tag die das Schlüsselwort enthalten. Diese kann man dann einzeln anklicken und kann die komplette News lesen.
Das Script/Programm/wasauchimmer müsste also nacheinander alle möglichen Daten mit dem Schlüsselwort durchgehen, die entsprechenden News 'anklicken' und, falls es eine serverseitige Lösung gibt, den Text in die Datenbank bzw. in einem SQL-kompatiblen Format in eine Textdatei speichern falls es für sowas Desktop-Programme gibt.
Bevor wegen copyright gemeckert wird, die rechtlcihen Fragen sind alle geklärt und ich habe die Erlaubnis die für mich interessanten Sachen zu übernehmen, allerdings war leider niemand dazu bereit (oder in der Lage) mir einen entsprechenden DB-Dump zur Verfügung zu stellen und das alles von Hand zu machen ist reichlich mühsam
Mich würde erstmal interessieren womit man sowas überhaupt realisieren kann (Perl, PHP ?) oder ob es da vielleicht was 'vorgefertigtes' für gibt, was ich eigentlich schon denke, schliesslich hört man ja immer von irgendwelchen Leuten die tausende Webseiten nach Mailaddys fürs Spammen durchsuchen, das muss ja so ähnlich funktionieren.
Mit meinen Grundkenntnissen in PHP hab ich zwar schon ein bisschen rumprobiert, schliesslich werden ja zb die Variablen fürs Datum auch ganz normal an die URL drangehangen, aber ich hab keine Ahnung ob und wie man fremden Code in eigene Scripte einbinden soll um diesen dann weiter zu verarbeiten...
ich freue mich über jeden Hinweis, suche schon lange nach einer Lösung, habe aber wohl auch nicht die richtigen Suchbegriffe benutzt...
Vielen Dank im Voraus.
Moderator
Kommentar