Maximale Array Größe - Array Problem

[c0restalker]

Guten Abend,

ich habe ein kleines Problem mit einem Array. Mein Array umfasst ca. 170.000 Datensätze (MySQL-Export v. PhpMyAdmin). Diese Daten sollen nun mittels PHP in eine .txt-Datei geschrieben werden.
Soweit so gut, jedoch wenn ich die Textdatei nun öffne, sind komischer Weisse nur 86.362 Datensätze in der Textdatei vorhanden.

Gibt es irgendwie eine Einstellung in der php.ini, die es nicht erlaubt größere Arrays zu generieren oder gibt es generell eine Lösung für das Problem?

Über Antworten wäre ich sehr dankbar.

Lieben Gruß

c0re

[AmicaNoctis]

Hallo,

ich gehe mal davon aus, dass du einfach das Memory Limit von PHP überschreitest. Wenn PHP dir das nicht mitgeteilt hat, passe bitte dein Error-Reporting an.

Warum baust du erst so ein großes Array zusammen? Kannst du nicht schon während des Abholens der Daten aus der DB jeden Datensatz mit fwrite sofort wieder wegschreiben?

Gruß,

Amica

[c0restalker]

Hallo,

ich gehe mal davon aus, dass du einfach das Memory Limit von PHP überschreitest. Wenn PHP dir das nicht mitgeteilt hat, passe bitte dein Error-Reporting an.

Warum baust du erst so ein großes Array zusammen? Kannst du nicht schon während des Abholens der Daten aus der DB jeden Datensatz mit fwrite sofort wieder wegschreiben?

Gruß,

Amica

Hallo und danke für deine schnelle Antwort.
Ja, es wird ein Fehler ausgegeben:

Allowed memory size of 33554432 bytes exhausted (tried to allocate  100663296 bytes)

Dies hatte ich jedoch mit

ini_set("memory_limit","200M"); 

gelöst.
Ich habe mich für das Array entschieden, weil ich die Funktion array_unique() bevorzuge.
Die Maximale Anzahl an Zeichen in der *.txt-Datei bleibt mit Array_Unique an oder aus immer bei 86362.

Gibt es dafür keine Lösung, außer jetzt es direkt per DB die doppelten Einträge zu filtern oder das Array in 3x 80.000 Datensätze zu splitten?


Liebe Grüße

c0re

[AmicaNoctis]

Wenn die Daten aus der DB kommen, kannst du die Eindeutigkeit mit

SELECT DISTINCT ... FROM ...

sicherstellen, wenn die Daten in die DB sollen, mit

INSERT INTO ... ON DUPLICATE KEY UPDATE ...

Amica

[c0restalker]

Wenn die Daten aus der DB kommen, kannst du die Eindeutigkeit mit

SELECT DISTINCT ... FROM ...

sicherstellen, wenn die Daten in die DB sollen, mit

INSERT INTO ... ON DUPLICATE KEY UPDATE ...

Amica

Haja schade, dass das nicht über PHP alleine geht. Aber vielen vielen Dank.

Gruß

[AmicaNoctis]

So schade ist das doch eigentlich gar nicht. Die Datenbank kann sowas doch viel effizienter erledigen als PHP. Du kannst das mit PHP auch erledigen, aber mit viel höherem Aufwand: Temporäre Dateien, BTrees und all solchen Kram, den das DBMS schon mitbringt und selbstständig nutzt, optimiert und verwaltet.