php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > PHP Developer Forum
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


PHP Developer Forum Hier habt ihr die Möglichkeit, eure Skriptprobleme mit anderen Anwendern zu diskutieren. Seid so fair und beantwortet auch Fragen von anderen Anwendern. Dieses Forum ist sowohl für ANFÄNGER als auch für PHP-Profis! Fragen zu Laravel, YII oder anderen PHP-Frameworks.

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 12-10-2003, 17:30
teresiak
 Newbie
Links : Onlinestatus : teresiak ist offline
Registriert seit: Jan 2002
Ort: Frechen (bei Köln)
Beiträge: 59
teresiak ist zur Zeit noch ein unbeschriebenes Blatt
Standard große Dateien bearbeiten

Hallo,

ich habe hier ein Problem und hoffe das Ihr mir weiterhelfen könnt.

Und zwar habe ich hier 2 Dateien welche Daten enthalten. Diese möchte ich in eine db importieren. Das parsen funktioniert super. Mein Problem ist nur, das die eine Datei 150MB und die andere knapp 1.3GB! groß ist. Der Server kommt schon mit 150MB nicht klar und bricht ab. (Liegt nicht an einer Laufzeitbegrenzung)

Was kann ich machen damit ich die Daten ordentlich bearbeiten kann?

Grüße

Stefan
Mit Zitat antworten
  #2 (permalink)  
Alt 12-10-2003, 17:51
domink_!!!
 Newbie
Links : Onlinestatus : domink_!!! ist offline
Registriert seit: Apr 2003
Beiträge: 33
domink_!!! ist zur Zeit noch ein unbeschriebenes Blatt
Standard

vielleicht die dateien in mehrere dateien aufteilen??
Mit Zitat antworten
  #3 (permalink)  
Alt 12-10-2003, 17:53
teresiak
 Newbie
Links : Onlinestatus : teresiak ist offline
Registriert seit: Jan 2002
Ort: Frechen (bei Köln)
Beiträge: 59
teresiak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo,

wäre evtl. ein Ansatz. Ich habe gehofft, das man die Datei häppchenweise auslesen kann und somit das aufteilen nicht notwendig wird. Falls es noch irgendeine Idee gibt wäre ich sehr Dankbar.


Grüße

Stefan
Mit Zitat antworten
  #4 (permalink)  
Alt 12-10-2003, 20:26
Trashar
 PHP Senior
Links : Onlinestatus : Trashar ist offline
Registriert seit: Dec 2001
Ort: /root/
Beiträge: 1.366
Trashar ist zur Zeit noch ein unbeschriebenes Blatt
Trashar eine Nachricht über ICQ schicken Trashar eine Nachricht über AIM schicken
Standard

sry wenn ich ma sooo doof frage, aebr was können das für daten sein, das du sooo große dateien in php laden musst um sie zu bearbeiten????????


mfg
Mit Zitat antworten
  #5 (permalink)  
Alt 12-10-2003, 23:41
teresiak
 Newbie
Links : Onlinestatus : teresiak ist offline
Registriert seit: Jan 2002
Ort: Frechen (bei Köln)
Beiträge: 59
teresiak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hi,

klar kannst Du

Das sind Artikeldaten. Das System wie diese Daten aufbereitet worden sind ist zwar der totale Schwachsinn, jedoch muss ich damit klarkommen. Habe zwar gerade versucht die Dateien zu splitten, jedoch reicht der zur Verfügung stehende Speicher dafür nicht aus

Habe momentan keine Idee was ich noch machen soll. Muß ich mir wohl erstmal was überlegen ob man über die Console was erreichen könnte.

Falls noch jemand eine Idee hat dann mal raus damit

Grüße

Stefan
Mit Zitat antworten
  #6 (permalink)  
Alt 13-10-2003, 08:48
Trashar
 PHP Senior
Links : Onlinestatus : Trashar ist offline
Registriert seit: Dec 2001
Ort: /root/
Beiträge: 1.366
Trashar ist zur Zeit noch ein unbeschriebenes Blatt
Trashar eine Nachricht über ICQ schicken Trashar eine Nachricht über AIM schicken
Standard

das beste wär sicherlich es in eine db einzufügen
dies wirst bei der größe wohl nur manuell machen können....

mfg
Mit Zitat antworten
  #7 (permalink)  
Alt 13-10-2003, 09:01
TBT
  Moderator
Links : Onlinestatus : TBT ist offline
Registriert seit: Sep 2002
Ort: Berlin
Beiträge: 2.787
TBT befindet sich auf einem aufstrebenden Ast
TBT eine Nachricht über ICQ schicken TBT eine Nachricht über AIM schicken TBT eine Nachricht über Yahoo! schicken
Standard

wie wäre es mit einer stückchenweise Abarbeitung ?

PHP-Code:
$offset=0;
$size filesize($datei);
$fp fopen($datei);
while(
$offset<$size){
   
// Startpunkt setzen
   
fseek($fp,$offset);
   
// immer 10Kb laden
   
$data fread($fp,10240);
   
// neuen Startpunkt fürs laden berechnen
   
$offset += 10240;
   
// hier $data verarbeiten
   // ...
}
fclose($fp); 
__________________
TBT

Die zwei wichtigsten Regeln für eine berufliche Karriere:
1. Verrate niemals alles was du weißt!


PHP 2 AllPatrizier II Browsergame
Mit Zitat antworten
  #8 (permalink)  
Alt 13-10-2003, 09:21
teresiak
 Newbie
Links : Onlinestatus : teresiak ist offline
Registriert seit: Jan 2002
Ort: Frechen (bei Köln)
Beiträge: 59
teresiak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Moin,

TBT, danke. Ich werde das mal testen. Auf jeden Fall dürfte es eine ganz schöne Kacke werden da die Daten folgendermaßen aufgebaut sind:

0000000001
00200050018073
0020006002HYDRA REC
00200070014016030000008
00200080013
0020009001BSSCD 25112
0020010001VIENNA ON THE ROCKS
0020010002CONTINENTALS,THE
0020010004105
00200100050008
00200110011
00200110021
0020012001IP1
00200120022250
00200120091150
0020013001011015
0020013002030930
0020013004030930
00200150010102010000
00200150020102010100
00200150030108020000
00200150040108040000
0020018001J
0020018004H
0000000001
00200050018064
0020006002Eskimo Rec
0020006004Eskimo Recordings
00200070019000100000000
00200080013
0020009001KIMOCDEP1
0020010001WONGA EPCD
0020010002MOOLA
0020010004113
00200100050007
00200110011
00200110021
0020012001092I
0020012002999
0020012009511
0020013001001023
0020013002020405
0020013004020405

Wer hat jetzt ne Tüte Mitleid für mich?

Ok. Ich werde berichten und das Ergebnis posten. Es gibt sicherlich noch andere die solch ein Problem irgendwann mal bekommen werden.

Danke und Gruß

Stefan



Rechtschreibfehler sind beabsichtigt und dienen der allgemeinen Belustigung...

Geändert von teresiak (13-10-2003 um 09:31 Uhr)
Mit Zitat antworten
  #9 (permalink)  
Alt 13-10-2003, 12:14
DSB
 Banned
Links : Onlinestatus : DSB ist offline
Registriert seit: Dec 2002
Ort: Hamburg
Beiträge: 374
DSB ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Wenn die Daten Deiner Datei nicht in einem "leicht" lesbaren Format vorliegen, dann schreibe eben eine Routine, die genau das erledigt.
Ich würde das in eine CSV-Datei umwandeln und dann hast Du mit dem DB-Import keine Probs mehr.
Irgendeine Grundstruktur muss die Datei ja haben und sobald Du diese verstanden hast, kannst Du das auch in eine CSV-Datei umwandeln.
Mit Zitat antworten
  #10 (permalink)  
Alt 13-10-2003, 12:32
teresiak
 Newbie
Links : Onlinestatus : teresiak ist offline
Registriert seit: Jan 2002
Ort: Frechen (bei Köln)
Beiträge: 59
teresiak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo,

ja ist sicherlich eine Methode. Doch muß ich zuerst dahin kommen das ich die Datei verarbeiten kann. Ich bin gerade dabei den Import vorzunehmen. Ob es klappt sehe ich in den nächsten Minuten, Stunde?

Grüße

Stefan
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

html5pattern ansehen html5pattern

Pflichtfelder und Eingabevorgaben für Formulare validieren

06.07.2018 Berni | Kategorie: HTML5/ HowTo
Adventure PHP Framework

Das Adventure PHP Framework versteht sich als Hilfsmittel zur Implementierung von objektorientierten, generischen und wiederverwendbaren PHP-Web-Applikationen.

05.07.2018 phpler | Kategorie: PHP/ Framework
Phpstorm ansehen Phpstorm

Umfangreiche Entwicklungsumgebung für PHP-Programmierer inkl JavaScript und HTML Support. Jetzt Version 8.0!

03.07.2018 Berni | Kategorie: PHP ENTWICKLUNGSUMGEBUNG
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 01:55 Uhr.