php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > PHP Developer Forum
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


PHP Developer Forum Hier habt ihr die Möglichkeit, eure Skriptprobleme mit anderen Anwendern zu diskutieren. Seid so fair und beantwortet auch Fragen von anderen Anwendern. Dieses Forum ist sowohl für ANFÄNGER als auch für PHP-Profis! Fragen zu Laravel, YII oder anderen PHP-Frameworks.

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 12-03-2006, 12:56
Mario00001
 Newbie
Links : Onlinestatus : Mario00001 ist offline
Registriert seit: Jan 2006
Beiträge: 9
Mario00001 ist zur Zeit noch ein unbeschriebenes Blatt
Standard XML Datei importieren

Hallo zusammen,

ich sitze hier gerade an einem Problem an dem ich nicht weiterkomme:

Es soll eine XML-Datei in die Datenbank importiert werden. Die Datei enthält ca. 100.000 Artikel und hat so ca. 30 MB.

Mit simplexml klappt das auch alles, nur habe ich ein Performance-Problem:
Beim sequentiellen Abarbeiten laufen in 5 Minuten ca. 5.000 Artikel durch.
Beim Importieren mit "load data infile" schaffe ich knapp 16.000.
Wenn ich den Upload des Files und den eigentlichen Import trenne schaffe ich etwas mehr als 20.000.

An meine 100.000 Datensätze komme ich so nicht wirklich ran. Wo denkt Ihr, sollte ich weiter forschen:

- SQL-server statt mysql 5?
- irgendeine andere Idee?

Entwicklungsumgebung:
PHP5/mySQL 5.0/Windows XP/Apache 2. Die Maschine hat 2.6 GHz und 1,5 GB RAM. Es läuft ausschließlich die Applikation darauf.

Danke im Voraus für Denkanstöße,
Mario
Mit Zitat antworten
  #2 (permalink)  
Alt 12-03-2006, 13:20
Benutzerbild von onemorenerd onemorenerd
  Moderator
Links : Onlinestatus : onemorenerd ist offline
Registriert seit: Mar 2005
Ort: Berlin
Beiträge: 9.471
onemorenerd wird schon bald berühmt werdenonemorenerd wird schon bald berühmt werden
Standard

Ich machs meist so:
- in einer Shell ein PHP-Script starten, dass aus dem XML ein SQL-File macht
- SQL-Datei mit dem Kommandozeilenclient in die DB pumpen (mysql ... < data.sql)
Mit Zitat antworten
  #3 (permalink)  
Alt 12-03-2006, 13:25
BenOmania
 Newbie
Links : Onlinestatus : BenOmania ist offline
Registriert seit: Feb 2004
Ort: Remagen
Beiträge: 41
BenOmania ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Ich weiß jetzt natürlich nicht, inwiefern das in Deinem Fall möglich ist, was ich jetzt schreibe, aber vielleicht kannst Du auch die Daten aus der XML-Datei so aufsplitten, dass Du mehrere XML-Files erhälst, die Du auf eine der von Dir getesteten Möglichkeiten in die Datenbank importieren kannst.


Ich habe dann aber auch noch eine Frage an @onemorenerd:
Hast Du eventuell so ein Shell-Skript mal bei der Hand?

Ich wüsste nämlich nicht, wie man so etwas umsetzt.
Danke .

Grüße, Ben.


[EDIT]
lol .. erst lesen, dann fragen. Sorry .. meine Frage ist natürlich unnötig. Musste nur mal meine Hirnzellen ankurbeln.
Mit Zitat antworten
  #4 (permalink)  
Alt 12-03-2006, 15:16
Mario00001
 Newbie
Links : Onlinestatus : Mario00001 ist offline
Registriert seit: Jan 2006
Beiträge: 9
Mario00001 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo,

erstmal danke für die Antworten.

@onemorenerd:
Habe ich auch schon überlegt. Zur Zeit ist das (allerdings auf J2EE-Plattform) genau so mit einem Nachtjob realisiert. Wenn ich keine Möglichkeit finde, das ganze zur Laufzeit zu lösen, wäre das wohl meine Wahl.

@BenOmania:
Das würde die Kundschaft wohl nicht mitspielen. Das würde bedeuten, dass der User quasi das Script mehrmals manuell starten müßte um die einzelnen Teile einzulesen...


Gruß
Mario
Mit Zitat antworten
  #5 (permalink)  
Alt 12-03-2006, 15:41
BenOmania
 Newbie
Links : Onlinestatus : BenOmania ist offline
Registriert seit: Feb 2004
Ort: Remagen
Beiträge: 41
BenOmania ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
Original geschrieben von Mario00001
Das würde die Kundschaft wohl nicht mitspielen.
Ah, ich dachte, dass das nur ein einmaliges Problem ist.

Dann hat sich das natürlich erledigt!
Mit Zitat antworten
  #6 (permalink)  
Alt 12-03-2006, 19:13
tontechniker
 PHP Senior
Links : Onlinestatus : tontechniker ist offline
Registriert seit: Jul 2005
Beiträge: 1.972
tontechniker ist zur Zeit noch ein unbeschriebenes Blatt
Standard

ich glaube das wäre garkein so großes problem:
das aufsplitten kann ja ein script übernehmen - die frage ist halt nur wer lust hat 30mb hochzuladen und ob das so überhaupt geht ....
__________________
Die Regeln | rtfm | register_globals | strings | SQL-Injections | []
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

Die RIGID-FLEX-Technologie
Die RIGID-FLEX-TechnologieDie sogenannte "Flexible Elektronik" , oftmals auch als "Flexible Schaltungen" bezeichnet, ist eine zeitgemäße Technologie zum Montieren von elektronischen Schaltungen.

06.12.2018 | Berni

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni


 

Aktuelle PHP Scripte

Newsmanager

Der Newsmanager ist ein Newssystem und Newsletter in einem. Mit WYSIWYG Editor und E-Mail import aus einer bestehenden MySql Datenbank sowie dynamische Kategorien / Themen Filter.

11.09.2019 Stephan_1972 | Kategorie: PHP/ News
Modelmanager

Der Modelmanager ist ein Webtool für Fotografen, kann als komplette Homepage oder als Webtool installiert werden.

11.09.2019 Stephan_1972 | Kategorie: PHP/ Webservice
ContentLion - Open Source CMS ansehen ContentLion - Open Source CMS

ContentLion ist ein in PHP geschriebenes CMS, bei dem man Seiten, Einstellungen usw. in Ordnern lagern kann

22.08.2019 stevieswebsite2 | Kategorie: PHP/ CMS
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 00:36 Uhr.