php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Sonstiges > Archiv / Trash
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


Archiv / Trash Hier findet ihr alles, was aus anderen Foren verschoben wurde, weil es inhaltlich in keines der anderen Foren passt.

 
 
LinkBack (3) Themen-Optionen Thema bewerten
  3 links from elsewhere to this Post. Click to view. #1 (permalink)  
Alt 23-07-2013, 19:02
Benutzerbild von BananaJo BananaJo
 Registrierter Benutzer
Links : Onlinestatus : BananaJo ist offline
Registriert seit: Aug 2008
Beiträge: 345
BananaJo kann nur auf Besserung hoffen
Standard Brauche Ideen zum Updaten von Produktdaten per Cronjob

Hallo,
auf meiner Website importiere ich regelmäßig Produktdaten von Affiliate Anbietern und mache das aktuell noch nicht per Cronjob, würde das aber gerne darauf umstellen.

Das Problem hierbei ist, dass es ca. 100 verschiedene Shops sind, von denen manche +50.000 Datensätze haben, die auf Aktualität und vorhanden sein geprüft werden müssen. Aktuell dauert ein Durchlauf mit 50.000 Datensätzen je Shop ca 3 Stunden. Und ich arbeite einen Shop nach einander ab.

Nach dem Importieren prüfe ich noch, welche Datensätze in der Datenbank veraltet sind und entferne diese.

Ich sehe hier große Probleme dies per Cronjob zu realisieren, gerade, wenn ein Prozess so lange läuft und dies bei 100 Shops relgemäßig gemacht werden muss.

Hat jemand bereits Erfahrung mit so großen Datenmengen und wie ich das performant machen kann, ohne dass es meinen Server in die Knie zwingt, weil er 24/7 nur Updates und Inserts macht?

Ach ja, die Datei muss auch noch automatisch runtergeladen und abgespeichert werden, danach erfolgen die Prüfungen. Aktuell mache ich den Down- und Upload auch noch per Hand :/

Ich bin für jede Idee dankbar dies performant zu realisieren.
freelancermap.de - IT Projektvermittlung für Selbständige und Freiberufler
  #2 (permalink)  
Alt 24-07-2013, 19:26
diel2001
 Registrierter Benutzer
Links : Onlinestatus : diel2001 ist offline
Registriert seit: Jul 2013
Beiträge: 9
diel2001 befindet sich auf einem aufstrebenden Ast
Standard

siehe auch hier
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de
 

Lesezeichen


LinkBacks (?)
LinkBack to this Thread: https://www.php-resource.de/forum/archiv-trash/104137-brauche-ideen-zum-updaten-von-produktdaten-per-cronjob.html
Erstellt von For Type Datum
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de This thread Refback 24-07-2013 17:14
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de This thread Refback 24-07-2013 17:05
Brauche Ideen zum Updaten von Produktdaten per Cronjob - PHP Forum: phpforum.de This thread Refback 24-07-2013 17:02

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
brauche ideen/vorschläge lilo78 BRAINSTORMING PHP/SQL/HTML/JS/CSS 6 09-04-2008 00:10
[Biete] Programmierung zum Thema Affiliate-Produktdaten (Preissuchmaschine, usw.) Manjie.net Jobgesuche 0 18-08-2006 14:43
Formular zum Updaten von Einträgen pad PHP Developer Forum 5 29-12-2005 12:18
Brauche Ideen für Domain GWC Off-Topic Diskussionen 9 26-08-2004 22:46
Brauche ein paar Ideen =) cookie BRAINSTORMING PHP/SQL/HTML/JS/CSS 2 03-12-2003 21:26

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist aus.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

PHP Marktplatz-Software
PHP Marktplatz-SoftwareEs hat sich viel getan! Die neue Version 7.5.9 unserer PHP Marktplatz-Software ebiz-trader steht ab sofort zur Verfügung.

28.10.2019 | Berni

Die RIGID-FLEX-Technologie
Die RIGID-FLEX-TechnologieDie sogenannte "Flexible Elektronik" , oftmals auch als "Flexible Schaltungen" bezeichnet, ist eine zeitgemäße Technologie zum Montieren von elektronischen Schaltungen.

06.12.2018 | Berni


 

Aktuelle PHP Scripte

SMT

Server Monitoring & Management Tool Das SMT wurde von einem Administrator für Administratoren entwickelt, es vereinfacht den Alltag in der klassischen Administration und Verwaltung. Mit dem SMT kannst Du alle Deine Server & Dienste verwalten und überwach

09.10.2020 palle_1977 | Kategorie: PHP
phplinX-Erotikportal 4 ansehen phplinX-Erotikportal 4

Erweiterbares Portal speziell für Erotik mit den Modulen Webkatalog, Bannermanagement und Kleinanzeigenmarkt. Sämtliche Module können über einen einzigen Adminbereich verwaltet werden.

18.06.2020 Cosinus14 | Kategorie: PHP/ Anzeigenmarkt
Erotik-Portal

Mit unsererem Erotik-Portal erhalten Sie ein komplettes Internetprojekt inklusive einer bedienerfreundlichem Administration sowie zahlreichen wichtigen Funktionen. Unser auf PHP und MySQL basierendes Script bietet Ihnen - und Ihren Besuchern - komfort

18.06.2020 ISD-Genthin | Kategorie: PHP/ Anzeigenmarkt
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 16:46 Uhr.