php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Scripts > BRAINSTORMING PHP/SQL/HTML/JS/CSS
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


BRAINSTORMING PHP/SQL/HTML/JS/CSS Ihr habt eine Idee, aber keinen genauen Ansatz? Diskutiert mit anderen Usern des Forums über eure Gedankengänge um evtl. hilfreiche Ideen zu bekommen!
Normale Fragen bitte weiterhin in die entsprechenden Foren!

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 03-04-2008, 15:42
nico44
 Newbie
Links : Onlinestatus : nico44 ist offline
Registriert seit: Nov 2006
Beiträge: 5
nico44 ist zur Zeit noch ein unbeschriebenes Blatt
Question Crawler (wieder mal)

Hallo Leute,

Ich möchte gerne einen crawler entwickeln, welcher Daten von definierten Sites holt. und anschliessend diese auch schön präsentiert. So a la www.preisvergleich.de.

Nur lieder hab ich total keine Ahnung wie ich das bewerkstelligen könnte.
Die Daten könnte ich ja via fopen lesen, jedoch kann ich anschliessend diese nicht schön darstellen...

Es gäbe zwei Möglichkeiten.
1. Die Daten werden über Nacht geholt und anschliessend den Tag durch für die Suche bereitgestellt.

2. Die Daten werden zur Laufzeit geholt und zwar anhand der Suchkriterien welche angegeben werden.


Hat mir vielleicht jemand einen Denkansatz oder vielleicht Schnippsel oder weiterführende Themen.

Besten Dank
Greetz
nico44

Geändert von nico44 (03-04-2008 um 15:45 Uhr)
Mit Zitat antworten
  #2 (permalink)  
Alt 03-04-2008, 18:40
TobiaZ
  Moderator
Links : Onlinestatus : TobiaZ ist offline
Registriert seit: Jan 2001
Ort: MUC und MGL, Germany
Beiträge: 34.421
Blog-Einträge: 1
TobiaZ befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Ich möchte gerne einen crawler entwickeln, welcher Daten von definierten Sites holt. und anschliessend diese auch schön präsentiert. So a la preisvergleich.de.
Eigentlich schon der Falsche Ansatz, weil die in der Regel die Daten geliefert bekommen und nichts mehr crawlen müssen...

Dein zweiter Ansatz ist wohl kaum handelbar. Zumindest nicht auf dauer. Du musst also die Daten vorhalten.

*move* nach Brainstorming, weil hier nun wirklich kein PHP-Problem vorliegt.
__________________
ERST LESEN: Unsere Regeln. | Ich hab schon Pferde kotzen sehn!

READ THIS: Strings richtig trennen/verbinden | JOINs, das leidige Thema | Wegwerf E-Mail Adressen

Ich werde keinen privaten 1:1 Support leisten, außer ich biete ihn ausdrücklich an.

Wenn man sich selbst als "Noob" bezeichnet, sollte man die Finger davon lassen.
Wenn man gewillt ist daran etwas zu ändern, lernt man Grundlagen!
Mit Zitat antworten
  #3 (permalink)  
Alt 03-04-2008, 20:08
pekka
 PHP Master
Links : Onlinestatus : pekka ist offline
Registriert seit: Jun 2001
Ort: Köln
Beiträge: 6.608
pekka befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Ich möchte gerne einen crawler entwickeln, welcher Daten von definierten Sites holt. und anschliessend diese auch schön präsentiert. So a la preisvergleich.de.
Dieser Ansatz wäre ein Haufen Arbeit - Du müßtest für jede zu crawlende Seite komplexe Regex-Anweisungen pflegen und aktualisieren, um immer die richtigen Daten auszulesen. Sobald eine Seite ihr Layout ändert, hast du einen kaputten Datenbestand und mußt deinen Parser anpassen. Stress ohne Ende... Meine Meinung: Entweder man kriegt die Seiten dazu, ihre Daten auswertbar zu liefern, oder man läßt es bleiben.
Mit Zitat antworten
  #4 (permalink)  
Alt 04-04-2008, 08:33
nico44
 Newbie
Links : Onlinestatus : nico44 ist offline
Registriert seit: Nov 2006
Beiträge: 5
nico44 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo zusammen,

Besten Dank für die schnellen Antworten.

Ich denke ihr habt ja auch schon ähnliche Projekte gehabt?! So ein Suchportal.

Habt ihr denn die "Partner" immer dazu gebracht, euch die Daten zur Verfügung zu stellen?!?! Wäre natürlich wesentlich Kundenfreundlicher wenn man die Seiten crawlen könnte....

Wie würdet ihr denn so ein Vorhaben lösen, dass das ganze möglichst generisch ist und dennoch recht kundenfreundlich bleibt??

Besten Dank.
Greetz
nico44
Mit Zitat antworten
  #5 (permalink)  
Alt 04-04-2008, 09:25
PHP-Desaster
 PHP Expert
Links : Onlinestatus : PHP-Desaster ist offline
Registriert seit: Mar 2006
Beiträge: 3.105
PHP-Desaster befindet sich auf einem aufstrebenden Ast
Standard

Was für einen Kundenbereich hast du denn? Bietest du einen Service, der auf alle möglichen Webseiten zugreifen kann oder erwarten die Kunden von dir diesen Service?
Wenn die Kunden dich zum Beispiel dafür bezahlen, kannst du ja die Seite crawlen, dem Kunden muss dann aber klar sein, wie hoch der Aufwand ist oder bietet eine entsprechende Schnittstelle. Bei einem offenen Service, der beliebige Seiten parst, musst du gucken, wie generisch du diese Seiten parsen willst. Wonach suchst du denn in den Seiten? Bilder, Inhalte, Unterseiten?
Mit Zitat antworten
  #6 (permalink)  
Alt 04-04-2008, 09:59
nico44
 Newbie
Links : Onlinestatus : nico44 ist offline
Registriert seit: Nov 2006
Beiträge: 5
nico44 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo PHP-Desaster,

Ich möchte gerne einen Service anbieten, welcher definierte Sites auf Angebote crawlet, hierbei brauche ich sowohl Text- wie auch Bild Daten.

Meine Lösung sollte möglichst kundenfreundlich sein d.h. folgendes Szenario:

1. definiere Site
2. crawl diese
3. speichere nötige Daten
4. Endkunde sucht auf meinem Portal
5. Endkunde erhält Treffer, mit wichtigsten Daten.
6. Detail mit Link auf Site

Weniger kundenfreundlich, jedoch die einfachere wäre wohl:

1. definiere Site
2. erhalte Daten via xml auf ftp
3. speichere nötige Daten
4. Endkunde sucht auf meinem Portal
5. Endkunde erhält Treffer, mit wichtigsten Daten.
6. Detail mit Link auf Site

So wie ich das sehe, gemäss den anderen Posts, werde ich die zweite Variante verwenden. Oder hast du noch einen anderen Denkansatz?

Besten Dank für die Unterstützung.
Greetz
nico44
Mit Zitat antworten
  #7 (permalink)  
Alt 04-04-2008, 10:57
PHP-Desaster
 PHP Expert
Links : Onlinestatus : PHP-Desaster ist offline
Registriert seit: Mar 2006
Beiträge: 3.105
PHP-Desaster befindet sich auf einem aufstrebenden Ast
Standard

Schritt "2. crawl diese" ist dabei natürlich das schwierige, da du das - wie schon gesagt - je nach Seite anders machen musst. Einen komplett generischen Parser kannst du da nicht verwenden, da du ja einen Zusammenhang zwischen den Bildern und Beschreibungen haben musst, um einen Artikel zu identifizieren. Wenn die Seiten einem bestimmten Muster entsprechen, kannst du da was reißen, das ist aber je nach Kunde zu untersuchen!
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

PHP Server Monitor

PHP Server Monitor ist ein Skript, das prüft, ob Ihre Websites und Server betriebsbereit sind.

11.09.2018 Berni | Kategorie: PHP/ Security
PHP WEB STATISTIK ansehen PHP WEB STATISTIK

Die PHP Web Statistik bietet Ihnen ein einfach zu konfigurierendes Script zur Aufzeichnung und grafischen und textuellen Auswertung der Besuchern Ihrer Webseite. Folgende zeitlichen Module sind verfügbar: Jahr, Monat, Tag, Wochentag, Stunde Folgende son

28.08.2018 phpwebstat | Kategorie: PHP/ Counter
Affilinator - Affilinet XML Produktlisten Skript

Die Affilinator Affilinet XML Edition ist ein vollautomatisches Skript zum einlesen und darstellen der Affili.net (Partnerprogramm Netzwerk) Produktlisten und Produktdaten. Im Grunde gibt der Webmaster seine Affilinet PartnerID ein und hat dann unmittelb

27.08.2018 freefrank@ | Kategorie: PHP/ Partnerprogramme
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 21:32 Uhr.