php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Sonstiges > Archiv / Trash
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


Archiv / Trash Hier findet ihr alles, was aus anderen Foren verschoben wurde, weil es inhaltlich in keines der anderen Foren passt.

 
 
LinkBack (3) Themen-Optionen Thema bewerten
  3 links from elsewhere to this Post. Click to view. #1 (permalink)  
Alt 23-07-2013, 20:02
Benutzerbild von BananaJo BananaJo
 Registrierter Benutzer
Links : Onlinestatus : BananaJo ist offline
Registriert seit: Aug 2008
Beiträge: 345
BananaJo kann nur auf Besserung hoffen
Standard Brauche Ideen zum Updaten von Produktdaten per Cronjob

Hallo,
auf meiner Website importiere ich regelmäßig Produktdaten von Affiliate Anbietern und mache das aktuell noch nicht per Cronjob, würde das aber gerne darauf umstellen.

Das Problem hierbei ist, dass es ca. 100 verschiedene Shops sind, von denen manche +50.000 Datensätze haben, die auf Aktualität und vorhanden sein geprüft werden müssen. Aktuell dauert ein Durchlauf mit 50.000 Datensätzen je Shop ca 3 Stunden. Und ich arbeite einen Shop nach einander ab.

Nach dem Importieren prüfe ich noch, welche Datensätze in der Datenbank veraltet sind und entferne diese.

Ich sehe hier große Probleme dies per Cronjob zu realisieren, gerade, wenn ein Prozess so lange läuft und dies bei 100 Shops relgemäßig gemacht werden muss.

Hat jemand bereits Erfahrung mit so großen Datenmengen und wie ich das performant machen kann, ohne dass es meinen Server in die Knie zwingt, weil er 24/7 nur Updates und Inserts macht?

Ach ja, die Datei muss auch noch automatisch runtergeladen und abgespeichert werden, danach erfolgen die Prüfungen. Aktuell mache ich den Down- und Upload auch noch per Hand :/

Ich bin für jede Idee dankbar dies performant zu realisieren.
  #2 (permalink)  
Alt 24-07-2013, 20:26
diel2001
 Registrierter Benutzer
Links : Onlinestatus : diel2001 ist offline
Registriert seit: Jul 2013
Beiträge: 9
diel2001 befindet sich auf einem aufstrebenden Ast
Standard

siehe auch hier
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de
 

Lesezeichen


LinkBacks (?)
LinkBack to this Thread: https://www.php-resource.de/forum/archiv-trash/104137-brauche-ideen-zum-updaten-von-produktdaten-per-cronjob.html
Erstellt von For Type Datum
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de This thread Refback 24-07-2013 18:14
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de This thread Refback 24-07-2013 18:05
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de This thread Refback 24-07-2013 18:02

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
brauche ideen/vorschläge lilo78 BRAINSTORMING PHP/SQL/HTML/JS/CSS 6 09-04-2008 01:10
[Biete] Programmierung zum Thema Affiliate-Produktdaten (Preissuchmaschine, usw.) Manjie.net Jobgesuche 0 18-08-2006 15:43
Formular zum Updaten von Einträgen pad PHP Developer Forum 5 29-12-2005 13:18
Brauche Ideen für Domain GWC Off-Topic Diskussionen 9 26-08-2004 23:46
Brauche ein paar Ideen =) cookie BRAINSTORMING PHP/SQL/HTML/JS/CSS 2 03-12-2003 22:26

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist aus.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

PHP Marktplatz-Software
PHP Marktplatz-SoftwareEs hat sich viel getan! Die neue Version 7.5.9 unserer PHP Marktplatz-Software ebiz-trader steht ab sofort zur Verfügung.

28.10.2019 | Berni

Die RIGID-FLEX-Technologie
Die RIGID-FLEX-TechnologieDie sogenannte "Flexible Elektronik" , oftmals auch als "Flexible Schaltungen" bezeichnet, ist eine zeitgemäße Technologie zum Montieren von elektronischen Schaltungen.

06.12.2018 | Berni


 

Aktuelle PHP Scripte

jqPlot jQuery Plotting Plugin ansehen jqPlot jQuery Plotting Plugin

jqPlot ist ein plotting und charting plugin für das jQuery Javascript framework

06.11.2019 Berni | Kategorie: AJAX/ Framework
WYSIWYG Editor

WYSIWYG Editor zum Einbinden in PHP Scripte.

21.10.2019 Stephan_1972 | Kategorie: PHP/ WYSIWYG
Modelmanager

Der Modelmanager ist ein Webtool für Fotografen, kann als komplette Homepage oder als Webtool installiert werden.

10.10.2019 Stephan_1972 | Kategorie: PHP/ Bilder
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 01:06 Uhr.