php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > PHP Developer Forum
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


PHP Developer Forum Hier habt ihr die Möglichkeit, eure Skriptprobleme mit anderen Anwendern zu diskutieren. Seid so fair und beantwortet auch Fragen von anderen Anwendern. Dieses Forum ist sowohl für ANFÄNGER als auch für PHP-Profis! Fragen zu Laravel, YII oder anderen PHP-Frameworks.

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 24-04-2010, 01:05
c0restalker
 Registrierter Benutzer
Links : Onlinestatus : c0restalker ist offline
Registriert seit: Oct 2009
Beiträge: 66
c0restalker befindet sich auf einem aufstrebenden Ast
Standard Maximale Array Größe - Array Problem

Guten Abend,

ich habe ein kleines Problem mit einem Array. Mein Array umfasst ca. 170.000 Datensätze (MySQL-Export v. PhpMyAdmin). Diese Daten sollen nun mittels PHP in eine .txt-Datei geschrieben werden.
Soweit so gut, jedoch wenn ich die Textdatei nun öffne, sind komischer Weisse nur 86.362 Datensätze in der Textdatei vorhanden.

Gibt es irgendwie eine Einstellung in der php.ini, die es nicht erlaubt größere Arrays zu generieren oder gibt es generell eine Lösung für das Problem?

Über Antworten wäre ich sehr dankbar.

Lieben Gruß

c0re

Geändert von c0restalker (24-04-2010 um 01:14 Uhr)
Mit Zitat antworten
  #2 (permalink)  
Alt 24-04-2010, 04:02
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

Hallo,

ich gehe mal davon aus, dass du einfach das Memory Limit von PHP überschreitest. Wenn PHP dir das nicht mitgeteilt hat, passe bitte dein Error-Reporting an.

Warum baust du erst so ein großes Array zusammen? Kannst du nicht schon während des Abholens der Daten aus der DB jeden Datensatz mit fwrite sofort wieder wegschreiben?

Gruß,

Amica
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!
Mit Zitat antworten
  #3 (permalink)  
Alt 24-04-2010, 23:14
c0restalker
 Registrierter Benutzer
Links : Onlinestatus : c0restalker ist offline
Registriert seit: Oct 2009
Beiträge: 66
c0restalker befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von AmicaNoctis Beitrag anzeigen
Hallo,

ich gehe mal davon aus, dass du einfach das Memory Limit von PHP überschreitest. Wenn PHP dir das nicht mitgeteilt hat, passe bitte dein Error-Reporting an.

Warum baust du erst so ein großes Array zusammen? Kannst du nicht schon während des Abholens der Daten aus der DB jeden Datensatz mit fwrite sofort wieder wegschreiben?

Gruß,

Amica
Hallo und danke für deine schnelle Antwort.
Ja, es wird ein Fehler ausgegeben:
Code:
Allowed memory size of 33554432 bytes exhausted (tried to allocate  100663296 bytes)
Dies hatte ich jedoch mit
PHP-Code:
ini_set("memory_limit","200M"); 
gelöst.
Ich habe mich für das Array entschieden, weil ich die Funktion array_unique() bevorzuge.
Die Maximale Anzahl an Zeichen in der *.txt-Datei bleibt mit Array_Unique an oder aus immer bei 86362.

Gibt es dafür keine Lösung, außer jetzt es direkt per DB die doppelten Einträge zu filtern oder das Array in 3x 80.000 Datensätze zu splitten?


Liebe Grüße

c0re
Mit Zitat antworten
  #4 (permalink)  
Alt 24-04-2010, 23:23
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

Wenn die Daten aus der DB kommen, kannst du die Eindeutigkeit mit
Code:
SELECT DISTINCT ... FROM ...
sicherstellen, wenn die Daten in die DB sollen, mit
Code:
INSERT INTO ... ON DUPLICATE KEY UPDATE ...
Amica
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!
Mit Zitat antworten
  #5 (permalink)  
Alt 24-04-2010, 23:26
c0restalker
 Registrierter Benutzer
Links : Onlinestatus : c0restalker ist offline
Registriert seit: Oct 2009
Beiträge: 66
c0restalker befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von AmicaNoctis Beitrag anzeigen
Wenn die Daten aus der DB kommen, kannst du die Eindeutigkeit mit
Code:
SELECT DISTINCT ... FROM ...
sicherstellen, wenn die Daten in die DB sollen, mit
Code:
INSERT INTO ... ON DUPLICATE KEY UPDATE ...
Amica
Haja schade, dass das nicht über PHP alleine geht. Aber vielen vielen Dank.

Gruß
Mit Zitat antworten
  #6 (permalink)  
Alt 24-04-2010, 23:30
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

So schade ist das doch eigentlich gar nicht. Die Datenbank kann sowas doch viel effizienter erledigen als PHP. Du kannst das mit PHP auch erledigen, aber mit viel höherem Aufwand: Temporäre Dateien, BTrees und all solchen Kram, den das DBMS schon mitbringt und selbstständig nutzt, optimiert und verwaltet.
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
Maximale Größe einer Variable in PHP unset BRAINSTORMING PHP/SQL/HTML/JS/CSS 4 08-05-2007 22:43
Maximale Größe mit RegExp (Forum) FloPe PHP Developer Forum 11 22-10-2006 15:29
Array auf maximale Key begrenzen bzw. Einträge löschen? JogiWebster PHP Developer Forum 5 18-07-2006 17:10
Array mit definierter Größe initialisieren daimonion PHP Developer Forum 5 25-05-2005 23:07
Problem mit Array-Werten, Array erweitern StephanF PHP Developer Forum 17 17-04-2005 15:12

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

PHP Server Monitor

PHP Server Monitor ist ein Skript, das prüft, ob Ihre Websites und Server betriebsbereit sind.

11.09.2018 Berni | Kategorie: PHP/ Security
PHP WEB STATISTIK ansehen PHP WEB STATISTIK

Die PHP Web Statistik bietet Ihnen ein einfach zu konfigurierendes Script zur Aufzeichnung und grafischen und textuellen Auswertung der Besuchern Ihrer Webseite. Folgende zeitlichen Module sind verfügbar: Jahr, Monat, Tag, Wochentag, Stunde Folgende son

28.08.2018 phpwebstat | Kategorie: PHP/ Counter
Affilinator - Affilinet XML Produktlisten Skript

Die Affilinator Affilinet XML Edition ist ein vollautomatisches Skript zum einlesen und darstellen der Affili.net (Partnerprogramm Netzwerk) Produktlisten und Produktdaten. Im Grunde gibt der Webmaster seine Affilinet PartnerID ein und hat dann unmittelb

27.08.2018 freefrank@ | Kategorie: PHP/ Partnerprogramme
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 16:47 Uhr.