php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Sonstiges > Archiv / Trash
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


Archiv / Trash Hier findet ihr alles, was aus anderen Foren verschoben wurde, weil es inhaltlich in keines der anderen Foren passt.

 
 
LinkBack (3) Themen-Optionen Thema bewerten
  3 links from elsewhere to this Post. Click to view. #1 (permalink)  
Alt 23-07-2013, 19:02
Benutzerbild von BananaJo BananaJo
 Registrierter Benutzer
Links : Onlinestatus : BananaJo ist offline
Registriert seit: Aug 2008
Beiträge: 344
BananaJo kann nur auf Besserung hoffen
Standard Brauche Ideen zum Updaten von Produktdaten per Cronjob

Hallo,
auf meiner Website importiere ich regelmäßig Produktdaten von Affiliate Anbietern und mache das aktuell noch nicht per Cronjob, würde das aber gerne darauf umstellen.

Das Problem hierbei ist, dass es ca. 100 verschiedene Shops sind, von denen manche +50.000 Datensätze haben, die auf Aktualität und vorhanden sein geprüft werden müssen. Aktuell dauert ein Durchlauf mit 50.000 Datensätzen je Shop ca 3 Stunden. Und ich arbeite einen Shop nach einander ab.

Nach dem Importieren prüfe ich noch, welche Datensätze in der Datenbank veraltet sind und entferne diese.

Ich sehe hier große Probleme dies per Cronjob zu realisieren, gerade, wenn ein Prozess so lange läuft und dies bei 100 Shops relgemäßig gemacht werden muss.

Hat jemand bereits Erfahrung mit so großen Datenmengen und wie ich das performant machen kann, ohne dass es meinen Server in die Knie zwingt, weil er 24/7 nur Updates und Inserts macht?

Ach ja, die Datei muss auch noch automatisch runtergeladen und abgespeichert werden, danach erfolgen die Prüfungen. Aktuell mache ich den Down- und Upload auch noch per Hand :/

Ich bin für jede Idee dankbar dies performant zu realisieren.
  #2 (permalink)  
Alt 24-07-2013, 19:26
diel2001
 Registrierter Benutzer
Links : Onlinestatus : diel2001 ist offline
Registriert seit: Jul 2013
Beiträge: 9
diel2001 befindet sich auf einem aufstrebenden Ast
Standard

siehe auch hier
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de
 

Lesezeichen


LinkBacks (?)
LinkBack to this Thread: https://www.php-resource.de/forum/archiv-trash/104137-brauche-ideen-zum-updaten-von-produktdaten-per-cronjob.html
Erstellt von For Type Datum
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de This thread Refback 24-07-2013 17:14
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de This thread Refback 24-07-2013 17:05
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de This thread Refback 24-07-2013 17:02

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
brauche ideen/vorschläge lilo78 BRAINSTORMING PHP/SQL/HTML/JS/CSS 6 09-04-2008 00:10
[Biete] Programmierung zum Thema Affiliate-Produktdaten (Preissuchmaschine, usw.) Manjie.net Jobgesuche 0 18-08-2006 14:43
Formular zum Updaten von Einträgen pad PHP Developer Forum 5 29-12-2005 12:18
Brauche Ideen für Domain GWC Off-Topic Diskussionen 9 26-08-2004 22:46
Brauche ein paar Ideen =) cookie BRAINSTORMING PHP/SQL/HTML/JS/CSS 2 03-12-2003 21:26

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist aus.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

PHP Server Monitor

PHP Server Monitor ist ein Skript, das prüft, ob Ihre Websites und Server betriebsbereit sind.

11.09.2018 Berni | Kategorie: PHP/ Security
PHP WEB STATISTIK ansehen PHP WEB STATISTIK

Die PHP Web Statistik bietet Ihnen ein einfach zu konfigurierendes Script zur Aufzeichnung und grafischen und textuellen Auswertung der Besuchern Ihrer Webseite. Folgende zeitlichen Module sind verfügbar: Jahr, Monat, Tag, Wochentag, Stunde Folgende son

28.08.2018 phpwebstat | Kategorie: PHP/ Counter
Affilinator - Affilinet XML Produktlisten Skript

Die Affilinator Affilinet XML Edition ist ein vollautomatisches Skript zum einlesen und darstellen der Affili.net (Partnerprogramm Netzwerk) Produktlisten und Produktdaten. Im Grunde gibt der Webmaster seine Affilinet PartnerID ein und hat dann unmittelb

27.08.2018 freefrank@ | Kategorie: PHP/ Partnerprogramme
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 06:00 Uhr.