php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > PHP Developer Forum
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


PHP Developer Forum Hier habt ihr die Möglichkeit, eure Skriptprobleme mit anderen Anwendern zu diskutieren. Seid so fair und beantwortet auch Fragen von anderen Anwendern. Dieses Forum ist sowohl für ANFÄNGER als auch für PHP-Profis! Fragen zu Laravel, YII oder anderen PHP-Frameworks.

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 12-07-2010, 19:12
RamonaS
 Registrierter Benutzer
Links : Onlinestatus : RamonaS ist offline
Registriert seit: Mar 2009
Beiträge: 177
RamonaS zeigte ein beschämendes Verhalten in der Vergangenheit
Standard Die Datei ist zu groß

Hallo, ich habe hier
http://ip-to-country.webhosting.info...ountry.csv.zip
diese CSV-Datei runtegeladen und jetzt bekomm ich die nicht in meine MySQL
rein....ich habe die datei auf 25000 einträge gekürzt, so funktioniert es.

Ich erhalte einmal diesen Fehler wenn ich versuche die datei am stück in
ein array zu schaufeln ($arr=file("ip-to-country.csv");
Fatal error: Allowed memory size of 16777216 bytes exhausted (tried to allocate 35 bytes) in C:\XamppLite\htdocs\insert.php on line 34

wenn ich die Datei in mehrere zerlege zu je 50000 einträge, erhalte ich eine Zeitüberschreitung weill php mehr als 60 sek. benötigt.

Frage wie kann ich diese datei am stück einlesen und in die db einfügen? Ohne phpmyadmin zu benutzen?
Mit Zitat antworten
  #2 (permalink)  
Alt 12-07-2010, 19:29
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

Hallo,

du kannst MySQL und auch PHP jeweils auch über die Kommandozeile aufrufen, wenn du sowieso lokal arbeitest. Dann gelten diese Zeitbeschränkungen ohnehin nicht.

Ansonsten: PHP: set_time_limit - Manual

Gruß,

Amica
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!
Mit Zitat antworten
  #3 (permalink)  
Alt 12-07-2010, 19:56
RamonaS
 Registrierter Benutzer
Links : Onlinestatus : RamonaS ist offline
Registriert seit: Mar 2009
Beiträge: 177
RamonaS zeigte ein beschämendes Verhalten in der Vergangenheit
Standard

Naja lokal könnte man das noch hinbekommen, aber was mach ich wenn das ganze online betrieben werden soll?

Das müßte doch irgendwie machbar sein, sonst wäre diese csv-datei ja nicht so riesig!
Mit Zitat antworten
  #4 (permalink)  
Alt 12-07-2010, 20:05
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

Zitat:
Zitat von RamonaS Beitrag anzeigen
Das müßte doch irgendwie machbar sein, sonst wäre diese csv-datei ja nicht so riesig!
Entweder verstehe ich nicht was du meinst oder du hast den Hinweis mit set_time_limit nicht beachtet.

Edit: Wenn der Server auch Datenbankzugriffe von extern erlaubt (nicht nur localhost), kannst du es trotzdem direkt über die Kommandozeilentools (von deiner Maschine aus) importieren.
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!

Geändert von AmicaNoctis (12-07-2010 um 20:07 Uhr)
Mit Zitat antworten
  #5 (permalink)  
Alt 12-07-2010, 20:26
wahsaga
  Moderator
Links : Onlinestatus : wahsaga ist offline
Registriert seit: Sep 2001
Beiträge: 25.236
wahsaga befindet sich auf einem aufstrebenden Ast
Standard

phpMyAdmin hat auch Optionen für einen partiellen Import.
__________________
I don't believe in rebirth. Actually, I never did in my whole lives.
Mit Zitat antworten
  #6 (permalink)  
Alt 13-07-2010, 14:28
RamonaS
 Registrierter Benutzer
Links : Onlinestatus : RamonaS ist offline
Registriert seit: Mar 2009
Beiträge: 177
RamonaS zeigte ein beschämendes Verhalten in der Vergangenheit
Standard

Ok ich habe jetzt die 5MB CSV-Datei in 4 teile zerlegt und die executiontime von php auf 0 gesetzt, jetzt funktioniert das alles.

Ich wollte nur wissen ob das einlesen einer 5MB großen textdatei für php grundsätzlich ein problem ist!

Weil am Stück kann ich diese 5MB nicht in ein array einlesen....gibts dafür keine möglichkeit?
Ich hatte bisher noch keine erfahrungen mit so großen datein.....5MB ist ja nicht wirklich groß...wie sieht das mit 20 oder 100MB aus?
Mit Zitat antworten
  #7 (permalink)  
Alt 13-07-2010, 14:37
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

Zitat:
Zitat von RamonaS Beitrag anzeigen
Ich wollte nur wissen ob das einlesen einer 5MB großen textdatei für php grundsätzlich ein problem ist!
Das nicht, aber wenn dein Hoster dir nur wenig RAM zuteilt, kannst du auch nur ein begrenztes Maß an Daten verarbeiten. Auf deinem lokalen System kannst du das dagegen in der php.ini selbst festlegen.
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!
Mit Zitat antworten
  #8 (permalink)  
Alt 13-07-2010, 14:39
Quetschi
 PHP Expert
Links : Onlinestatus : Quetschi ist offline
Registriert seit: Dec 2004
Beiträge: 3.134
Quetschi wird schon bald berühmt werden
Standard

Hast du den Import selbst geschrieben?

Wenn ja, warum liest du dann die Datei scheinbar komplett auf einmal ein?
Das Problem mit dem Speicherplatz lässt sich umgehen.

Bei der Script-Laufzeit bist halt drauf angewiesen die execution-time hochsetzen zu können oder man muss sich irgendwas mit Selbstaufrufen zusammenbasteln.
__________________
Ihr habt ein Torturial durchgearbeitet, das auf den mysql_-Funktionen aufbaut?
Schön - etwas Geschichte kann ja nicht schaden.
Aber jetzt seht euch bitte php.net/pdo oder php.net/mysqli bevor ihr beginnt!
Mit Zitat antworten
  #9 (permalink)  
Alt 15-07-2010, 19:38
RamonaS
 Registrierter Benutzer
Links : Onlinestatus : RamonaS ist offline
Registriert seit: Mar 2009
Beiträge: 177
RamonaS zeigte ein beschämendes Verhalten in der Vergangenheit
Standard

@Quetschi
>Wenn ja, warum liest du dann die Datei scheinbar komplett auf einmal ein?

Na die datei ist halt nun mal ein stück von über 5MB und 120tausend zeilen :-)
hier ist der lionk nochmal zu diesem oschi:
http://ip-to-country.webhosting.info...ountry.csv.zip
Warum bietet man hier so eine riwesige datei an, wenn man die nicht einlesen kann?


Was macht man mit so einer datei wenn die sich nicht einlesen läßt bzw in ein array kopieren läßt?...ich kann ja nichts damit anfangen solange php nicht den geasmten inhalt kennt.

Ok lokal kann ich meine php.ini bearbeiten, aber online darf ich das nicht. und konsoleanwendung hab ich online auch nicht.

Geändert von RamonaS (15-07-2010 um 19:40 Uhr) Grund: etwas vergessen
Mit Zitat antworten
  #10 (permalink)  
Alt 15-07-2010, 19:47
wahsaga
  Moderator
Links : Onlinestatus : wahsaga ist offline
Registriert seit: Sep 2001
Beiträge: 25.236
wahsaga befindet sich auf einem aufstrebenden Ast
Standard

Ich habe dich glaube ich in der Vergangenheit schon mehrfach aufgefordert, verflixt noch mal vernünftig zu zitieren!

Zitat:
Zitat von RamonaS Beitrag anzeigen
Zitat:
Zitat von Quetschi
Wenn ja, warum liest du dann die Datei scheinbar komplett auf einmal ein?
Na die datei ist halt nun mal ein stück von über 5MB und 120tausend zeilen
Das ist keine Antwort auf die Frage!

Zitat:
Warum bietet man hier so eine riwesige datei an, wenn man die nicht einlesen kann?
Soll „man“ lieber nur einen Bruchteil der Daten anbieten - mit dem sich dann zwar nichts anfangen lässt, aber den du wenigstens problemlos einspielen kannst ...?

Zitat:
Was macht man mit so einer datei wenn die sich nicht einlesen läßt bzw in ein array kopieren läßt?
Man liest sie bspw. stückweise/zeilenweise ein - darauf wollte Quetschi ja auch mit seiner Rückfrage hinaus.

Wenn du also über solche Rückfragen mal kurz ernsthaft nachdenken könntest, bevor du reflexartig nur mit einer Wiederholung der Fakten antwortest, die du uns bereits vorher schon mitgeteilt hast, wäre das echt fein.
__________________
I don't believe in rebirth. Actually, I never did in my whole lives.
Mit Zitat antworten
  #11 (permalink)  
Alt 15-07-2010, 19:48
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

Trotzdem muss man eine Datei nicht immer komplett einlesen, man kann oft auch in Portionen arbeiten, indem man Block für Block liest und gleich verarbeitet.
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!
Mit Zitat antworten
  #12 (permalink)  
Alt 15-07-2010, 21:14
RamonaS
 Registrierter Benutzer
Links : Onlinestatus : RamonaS ist offline
Registriert seit: Mar 2009
Beiträge: 177
RamonaS zeigte ein beschämendes Verhalten in der Vergangenheit
Standard

@wahsaga
Du weißt ich liebe dich! Ja ich überspringe öfters mal was...wir sind ja nicht alle perfekt:-(

Ok dann gehen wir das Thema mal gezielter an.

Ich wollte die Datei mit $arr(file("datei.csv")); einlesen und da bricht PHP bereits ab.

So und jetzt weiß ich beim bestenn willen nicht wie man so eine Datei stückweise/zeilenweise einlesen kann.

Um die Datei in Teile zu zerlegen, muß doch php diese einlesen können, oder bis ich auf dem Holzweg?

Das wäre mal insteressant zu wissen, weil ich mal eine datei mit 200MB hatte und die konnte ich auch nicht einlesen.

Ok also Bitte um nachsicht für meine wenigkeit wenn ich das mal nicht ganz kappiere.
Mit Zitat antworten
  #13 (permalink)  
Alt 15-07-2010, 21:42
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

Es gibt ja noch andere Funktionen außer file:

PHP: fgetc - Manual
PHP: fgetcsv - Manual (!!!)
PHP: fgets - Manual
PHP: fread - Manual
PHP: fscanf - Manual
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!
Mit Zitat antworten
  #14 (permalink)  
Alt 15-07-2010, 21:55
wahsaga
  Moderator
Links : Onlinestatus : wahsaga ist offline
Registriert seit: Sep 2001
Beiträge: 25.236
wahsaga befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von RamonaS Beitrag anzeigen
Ja ich überspringe öfters mal was...wir sind ja nicht alle perfekt:-(
Ja - aber wenn „wir“ wiederholte Hinweise auf sowas beständig ignorieren, was von aussen gesehen eigentlich nur damit erklärbar ist, dass „wir“ zu faul sind, uns ein bisschen Mühe zu geben, unsere Postings halbwegs vernünftig zu strukturieren und lesefreundlich zu gestalten, dann dürfen „wir“ uns bitte auch nicht wundern, wenn „wir“ beim nächsten Mal erst mal gebannt werden.
Das ist die letzte Verwarnung, die „wir“ diesbezüglich noch bekommen - haben „wir“ das verstanden?


Zitat:
Ich wollte die Datei mit $arr(file("datei.csv")); einlesen und da bricht PHP bereits ab.
Natürlich, weil file ja den kompletten Dateiinhalt auf einmal in ein Array zu schaufeln versucht.

Zitat:
So und jetzt weiß ich beim bestenn willen nicht wie man so eine Datei stückweise/zeilenweise einlesen kann.
Ja dann informiere dich doch bitte mal!

Wenn du im Manual unter file nachschaust, dann bekommst du links die ganzen Dateisystem-Funktionen aufgelistet; und wenn du oben auf Dateisystem klickst, dann bekommst du sogar eine noch etwas ausführlichere Übersicht über die Dateisystem-Funktionen angezeigt, die auch noch eine Kurzbeschreibung zu allen diesen Funktionen liefert.

Und dass du diese Liste erst mal durchschaust, das darf doch wohl erwartet werden?

Da findest du bspw. Funktionen wie fgets, Beschreibung: „Liest eine Zeile von der Position des Dateizeigers“.
Na, klingt das nicht spannend - nur eine Zeile lesen, statt gleich alles? Könnte das vom Speicherverbrauch her nicht günstiger sein als file (Beschreibung dazu: „Liest eine komplette Datei in ein Array“)?

Ja, fgets alleine tut's nicht, da braucht man auch noch fopen, und vermutlich eine Schleife - aber dazu gibt es Beispiele.

Zitat:
Um die Datei in Teile zu zerlegen, muß doch php diese einlesen können, oder bis ich auf dem Holzweg?
Um ein Buch zu lesen, das in 23 Bänden erschienen ist, musst du auch nicht immer alle 23 Bände mit dir rumschleppen.
Nein, du kannst dir heute den ersten Band in die Bahn/ins Freibad/auf's Klo mitnehmen.
Und nächste Woche dann den zweiten ... usw. usf.
__________________
I don't believe in rebirth. Actually, I never did in my whole lives.

Geändert von wahsaga (15-07-2010 um 21:57 Uhr)
Mit Zitat antworten
  #15 (permalink)  
Alt 15-07-2010, 23:44
Peacie
 Registrierter Benutzer
Links : Onlinestatus : Peacie ist offline
Registriert seit: Nov 2003
Beiträge: 341
Peacie ist zur Zeit noch ein unbeschriebenes Blatt
Peacie eine Nachricht über ICQ schicken Peacie eine Nachricht über AIM schicken Peacie eine Nachricht über Yahoo! schicken
Standard

PHP: fgets - Manual

eventuell hilft dir das . .
also nicht das manual sondern genau der kommentar.
__________________
Mibau Datendesign - Online Ferienwelt
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
.htaccess Datei ... wie groß`? pjoern Fragen zu Installation & Konfiguration (LAMP, WAMP & Co.) 5 25-09-2007 13:21
XML Datei zu groß quaigon XML 1 07-07-2006 17:11
CSV Datei zu groß ? Paulus PHP Developer Forum 19 10-06-2005 01:04
gif datei verkleinern, wie (ziemlich groß) Sapphire Grafik / Design / Flash ... 4 21-06-2004 17:28
$_POST und $_FILES leer wenn Datei zu groß? epromi PHP Developer Forum 1 10-06-2004 12:25

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

ADSMAN V3 - Werbe-Manager ansehen ADSMAN V3 - Werbe-Manager

ADSMAN V3 - mehr als nur ein Bannermanager! Banner, Textanzeigen und PagePeel Manager! Mit ADSMAN PRO haben Sie die Marketinglösung für eine effektive und effiziente Werbeschaltung mit messbaren Ergebnissen. Unterstützt werden Bannerformate in beliebi

25.10.2018 virtualsystem | Kategorie: PHP/ Bannerverwaltung
PHP News und Artikel Script V2

News schreiben, verwalten, veröffentlichen. Dies ist jetzt mit dem neuen PHP News & Artikel System von virtualsystem.de noch einfacher. Die integrierte Multi-User-Funktion und der WYSIWYG-Editor (MS-Office ähnliche Bedienung) ermöglichen...

25.10.2018 virtualsystem | Kategorie: PHP/ News
Top-Side Guestbook

Gästebuch auf Textbasis (kein MySQL nötig) mit Smilies, Ip Sperre (Zeit selbst einstellbar), Spamschutz, Captcha (Code-Eingabe), BB-Code, Hitcounter, Löschfunktion, Editierfunktion, Kommentarfunktion, Kürzung langer Wörter, Seiten- bzw. Blätterfunktion, V

22.10.2018 webmaster10 | Kategorie: PHP/ Gaestebuch
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 14:49 Uhr.