php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > PHP Developer Forum
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


PHP Developer Forum Hier habt ihr die Möglichkeit, eure Skriptprobleme mit anderen Anwendern zu diskutieren. Seid so fair und beantwortet auch Fragen von anderen Anwendern. Dieses Forum ist sowohl für ANFÄNGER als auch für PHP-Profis! Fragen zu Laravel, YII oder anderen PHP-Frameworks.

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 29-08-2007, 18:00
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard Speicherproblem: memory_limit ändern hilft nicht

Hallo,

ich habe ein recht speicherintensives script, welches Datensätze aus einer DB ausließt. Mein memory_limit in der php.ini steht bei 512MB (habe 2GB RAM).
Ich habe dann mal nach einer bestimmten Anzahl von DS (100K, 200K etc) debuggen lassen wieviel Speicher (memory_get_usage()) verwendet wird.
-----------------------------------------------------------------------------------
Es ergibt sich folgende Ausgabe:

Speicherauslastung am Anfang: 590.544
Speicherauslastung vor DB Uebertragung: 7.341.368
Speicherauslastung nach 100K DS: 43.906.288
Speicherauslastung nach 200K DS: 80.443.104
Speicherauslastung nach 250K DS: 98.450.744
Speicherauslastung nach 275K DS: 108.502.448

Fatal error: Allowed memory size of 536.870.912 bytes exhausted (tried to allocate 35 bytes) in C:\Programme\Test\DisplayAnalyse.php on line 203

-----------------------------------------------------------------------------------

Die nächste Debug stufe hätte nach 290K DS kommen sollen, davor bricht er aber ab. So recht verstehe ich die Fehlermeldung nicht, denn eigentlich sollte bei 290K DS etwas 120 MB belegt sein und nicht 536MB wie in der Fehlermeldung steht.

Die gleich Fehlermeldung (nur mit angepasster "exhausted" größe kommt auch wenn ich 1024 als memory_limit angebe...
Ist der maximale Wert für memory_limit etwas 128 MB? (weil das in etwas die grenze ist an der, der Fehler entsteht).

Hat da jemand von euch vielleicht eine Idee dazu?

Vielen Dank
--ronny
Mit Zitat antworten
  #2 (permalink)  
Alt 29-08-2007, 19:58
penizillin
 PHP Guru
Links : Onlinestatus : penizillin ist offline
Registriert seit: Feb 2004
Beiträge: 10.166
penizillin ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
... denn eigentlich sollte bei 290K DS etwas 120 MB belegt sein und nicht 536MB wie in der Fehlermeldung steht.
der overhead, der durch deine anwendung erzeugt wird, kann nur dir und php bekannt sein.

am besten optimierst du deine anwendung. brauchst du hilfe dabei?
was tut sie? zeig mal den relevanten code.
Mit Zitat antworten
  #3 (permalink)  
Alt 29-08-2007, 20:52
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Danke für deine Antwort. Ich hoffe das mein Anliegen richtig rüber gekommen ist. Mir erscheint, dass PHP nicht wirklich die in memory_limit angegebene Obergrenze ausnutzt, sondern statt dessen immer bei 128MB Speicherauslastung den o.g. Fehler ausgibt.
Selbst wenn hier das ein oder andere zu optimieren ginge, ich muss in der Praxis möglicherweise mit noch deutlich größeren Datenmengen zurecht kommen...

Hier ist mal die relevante Schleife in der die Datensätze von der MySQL DB ausgelesen werden:
(Ich hoffe, dass man den source nach dem senden immernoch mit copy & paste leserlich in einen editor einfügen kann - will sagen, daß die formatierung erhalten bleibt)

--ron

--------------------------------------------------------------------------------------

//--- Alle Datenbank-Zeilen durchlaufen für Analyse ---
echo "Speicherauslastung vor DB Uebertragung: ".memory_get_usage()."<BR>";
while ( $dataRow = mysql_fetch_assoc($dbData) ) {
//echo_d ("DATA ROW: ");
//print_pre( $dataRow );
//echo_d ("cZeit: ". $dataRow['Zeit_CallReq'] );
if ($rowCnt==100000)
echo "Speicherauslastung nach 100K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==200000)
echo "Speicherauslastung nach 200K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==250000)
echo "Speicherauslastung nach 250K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==275000)
echo "Speicherauslastung nach 275K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==290000)
echo "Speicherauslastung nach 290K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==300000)
echo "Speicherauslastung nach 300K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==400000)
echo "Speicherauslastung nach 400K DS: ".memory_get_usage()."<BR>";

for ($fieldCnt=0; $fieldCnt<count($analyse_FeldNamen); $fieldCnt++)
$analyse_Feld[$rowCnt][$analyse_FeldNamen[$fieldCnt]] = $dataRow[$db_FeldNamen[$fieldCnt]];

//Dauer aller Calls aufsummieren und für die Avg CallDauer durch rowCnt teilen
$gesDauer += $analyse_Feld[$rowCnt]['cDauer'];

//--- Call je Sekunde ------------------------------------------------------------------------------
$zeitFeld = explode(':', $analyse_Feld[$rowCnt]['cZeit']);
$zeitInSec = ($zeitFeld[0]*SEC_PER_HRS) + ($zeitFeld[1]*SEC_PER_MIN) + ($zeitFeld[2]);

if ( $zeitFeld[0][0] == '0' )
$zeitFeld[0] = $zeitFeld[0][1]; //Stunden filtern und führende 0 entfernen. Brauche ich um richtig in das Feld $callsInHrs zu speichern

for ($i=0; $i<$analyse_Feld[$rowCnt]['cDauer']; $i++)
$callsInSec[$zeitInSec+$i]++; //Jedes ArrayElement vom Zeitpunkt des Anrufs über seine Dauer, wird inkrementiert


//--- Call je Stunde ------------------------------------------------------------------------------
$callsInHrs[$zeitFeld[0]]++; // zeitFeld[0] sind die Stunden
//--- Call je Minute ------------------------------------------------------------------------------
$callsInMinute[($zeitFeld[0]*MIN_PER_HRS + $zeitFeld[1])]++;

$rowCnt++;

// echo_d ("--- Next While ------------------------------------------------------------------------------");
} //End While: Alle DB Einträge verarbeitet
Mit Zitat antworten
  #4 (permalink)  
Alt 29-08-2007, 21:07
penizillin
 PHP Guru
Links : Onlinestatus : penizillin ist offline
Registriert seit: Feb 2004
Beiträge: 10.166
penizillin ist zur Zeit noch ein unbeschriebenes Blatt
Standard

benutze die php-tags des forums zur lesbarkeit.
Mit Zitat antworten
  #5 (permalink)  
Alt 29-08-2007, 22:39
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Sorry, 2. Versuch...
PHP-Code:
    //---  Alle Datenbank-Zeilen durchlaufen für Analyse ---
    
echo "Speicherauslastung vor DB Uebertragung: ".memory_get_usage()."<BR>";
    while ( 
$dataRow mysql_fetch_assoc($dbData) ) {
          
//echo_d ("DATA ROW: ");
          //print_pre( $dataRow );
          //echo_d ("cZeit: ". $dataRow['Zeit_CallReq'] );        
        
if ($rowCnt==100000
            echo 
"Speicherauslastung nach 100K DS: ".memory_get_usage()."<BR>";
        if (
$rowCnt==200000
            echo 
"Speicherauslastung nach 200K DS: ".memory_get_usage()."<BR>";
        if (
$rowCnt==250000
            echo 
"Speicherauslastung nach 250K DS: ".memory_get_usage()."<BR>";        
        if (
$rowCnt==275000
            echo 
"Speicherauslastung nach 275K DS: ".memory_get_usage()."<BR>";                    
        if (
$rowCnt==290000
            echo 
"Speicherauslastung nach 290K DS: ".memory_get_usage()."<BR>";                                
        if (
$rowCnt==300000)         
            echo 
"Speicherauslastung nach 300K DS: ".memory_get_usage()."<BR>";
        if (
$rowCnt==400000
            echo 
"Speicherauslastung nach 400K DS: ".memory_get_usage()."<BR>";
            
        for (
$fieldCnt=0$fieldCnt<count($analyse_FeldNamen); $fieldCnt++)
            
$analyse_Feld[$rowCnt][$analyse_FeldNamen[$fieldCnt]] = $dataRow[$db_FeldNamen[$fieldCnt]];            
        
        
//Dauer aller Calls aufsummieren und für die Avg CallDauer durch rowCnt teilen
        
$gesDauer += $analyse_Feld[$rowCnt]['cDauer'];
        
        
//--- Call je Sekunde ------------------------------------------------------------------------------
        
$zeitFeld  explode(':'$analyse_Feld[$rowCnt]['cZeit']);
        
$zeitInSec = ($zeitFeld[0]*SEC_PER_HRS) + ($zeitFeld[1]*SEC_PER_MIN) + ($zeitFeld[2]);
        
        if ( 
$zeitFeld[0][0] == '0' )    
            
$zeitFeld[0] = $zeitFeld[0][1]; //Stunden filtern und führende 0 entfernen. Brauche ich um richtig in das Feld $callsInHrs zu speichern
                 
        
for ($i=0$i<$analyse_Feld[$rowCnt]['cDauer']; $i++)
            
$callsInSec[$zeitInSec+$i]++; //Jedes ArrayElement vom Zeitpunkt des Anrufs über seine Dauer, wird inkrementiert


        //--- Call je Stunde ------------------------------------------------------------------------------
        
$callsInHrs[$zeitFeld[0]]++;  // zeitFeld[0] sind die Stunden    
        //--- Call je Minute ------------------------------------------------------------------------------
        
$callsInMinute[($zeitFeld[0]*MIN_PER_HRS $zeitFeld[1])]++;
        
        
$rowCnt++;
        
//         echo_d ("--- Next While ------------------------------------------------------------------------------");
    
//End While: Alle DB Einträge verarbeitet 
Mit Zitat antworten
  #6 (permalink)  
Alt 29-08-2007, 23:46
tontechniker
 PHP Senior
Links : Onlinestatus : tontechniker ist offline
Registriert seit: Jul 2005
Beiträge: 1.972
tontechniker ist zur Zeit noch ein unbeschriebenes Blatt
Standard

OffTopic:
!
__________________
Die Regeln | rtfm | register_globals | strings | SQL-Injections | []
Mit Zitat antworten
  #7 (permalink)  
Alt 30-08-2007, 10:58
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Was willst du mir damit sagen Tontechniker?
Mit Zitat antworten
  #8 (permalink)  
Alt 30-08-2007, 11:02
axo
 Junior Member
Links : Onlinestatus : axo ist offline
Registriert seit: Jan 2006
Ort: 127.0.0.1
Beiträge: 196
axo ist zur Zeit noch ein unbeschriebenes Blatt
Standard

naja, du holst dir über 400.000 datensätze aus einer datenbank und packst die alle in ein mehrdimensionales array? das kann doch nicht gut gehen.

und selbst wenn du das memory limit auf 2G bekommst - was machst du dann, wenn du mit 800.000 datensätzen arbeitest? eine neue maschine mit 4G RAM ?

neeeee....

wozu hast du denn eine datenbank? du holst die (roh)daten gar nicht erst aus der db, sondern aggregierst das ganze geeignet über temporäre tabellen, COUNT, GROUP BY und UPDATE.

rtfm.
Mit Zitat antworten
  #9 (permalink)  
Alt 30-08-2007, 11:03
axo
 Junior Member
Links : Onlinestatus : axo ist offline
Registriert seit: Jan 2006
Ort: 127.0.0.1
Beiträge: 196
axo ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
Original geschrieben von Ronny76
Was willst du mir damit sagen Tontechniker?
dass du deine eigenen beiträge editieren kannst statt ein neues posting mit selbem inhalt reinzumachen. nur mal so als kleiner hinweis, dass du bitte nachdenken sollst bevor du was machst.
Mit Zitat antworten
  #10 (permalink)  
Alt 30-08-2007, 11:30
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

OK werde ich tun...
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

Die RIGID-FLEX-Technologie
Die RIGID-FLEX-TechnologieDie sogenannte "Flexible Elektronik" , oftmals auch als "Flexible Schaltungen" bezeichnet, ist eine zeitgemäße Technologie zum Montieren von elektronischen Schaltungen.

06.12.2018 | Berni

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni


 

Aktuelle PHP Scripte

WeltExplorer v1.0

WeltExplorer v1.0 ist ein Dateimanager zum Browsen und Operieren im Dateisystem. Bei installiertem cURL können Ordner und Dateien zu entfernten FTP-Servern hochgeladen bzw. von diesen heruntergeladen werden, etwa zum Erstellen von Backups oder Mirrorsites

06.02.2019 weltvolk | Kategorie: PHP/ File
PG Job Site Pro

> Job Site Pro - web-basiertes Programm, auf PHP/MySQL für Erstellung der funktionellen Job Board Site gebaut. Das hat erweitertes Management-System für Arbeitssuchenden und Arbeitgeber und kann für bestimmte Länder, Regionen oder einfach generelle Job Si

05.02.2019 submit@ | Kategorie: PHP/ Management
ModuleStudio ansehen ModuleStudio

Modellgetriebene Entwicklung von Erweiterungen für das Open Source Framework Zikula.

15.01.2019 Guite | Kategorie: PHP ENTWICKLUNGSUMGEBUNG
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 14:00 Uhr.