php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > PHP Developer Forum
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


PHP Developer Forum Hier habt ihr die Möglichkeit, eure Skriptprobleme mit anderen Anwendern zu diskutieren. Seid so fair und beantwortet auch Fragen von anderen Anwendern. Dieses Forum ist sowohl für ANFÄNGER als auch für PHP-Profis! Fragen zu Laravel, YII oder anderen PHP-Frameworks.

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 29-08-2007, 18:00
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard Speicherproblem: memory_limit ändern hilft nicht

Hallo,

ich habe ein recht speicherintensives script, welches Datensätze aus einer DB ausließt. Mein memory_limit in der php.ini steht bei 512MB (habe 2GB RAM).
Ich habe dann mal nach einer bestimmten Anzahl von DS (100K, 200K etc) debuggen lassen wieviel Speicher (memory_get_usage()) verwendet wird.
-----------------------------------------------------------------------------------
Es ergibt sich folgende Ausgabe:

Speicherauslastung am Anfang: 590.544
Speicherauslastung vor DB Uebertragung: 7.341.368
Speicherauslastung nach 100K DS: 43.906.288
Speicherauslastung nach 200K DS: 80.443.104
Speicherauslastung nach 250K DS: 98.450.744
Speicherauslastung nach 275K DS: 108.502.448

Fatal error: Allowed memory size of 536.870.912 bytes exhausted (tried to allocate 35 bytes) in C:\Programme\Test\DisplayAnalyse.php on line 203

-----------------------------------------------------------------------------------

Die nächste Debug stufe hätte nach 290K DS kommen sollen, davor bricht er aber ab. So recht verstehe ich die Fehlermeldung nicht, denn eigentlich sollte bei 290K DS etwas 120 MB belegt sein und nicht 536MB wie in der Fehlermeldung steht.

Die gleich Fehlermeldung (nur mit angepasster "exhausted" größe kommt auch wenn ich 1024 als memory_limit angebe...
Ist der maximale Wert für memory_limit etwas 128 MB? (weil das in etwas die grenze ist an der, der Fehler entsteht).

Hat da jemand von euch vielleicht eine Idee dazu?

Vielen Dank
--ronny
Mit Zitat antworten
  #2 (permalink)  
Alt 29-08-2007, 19:58
penizillin
 PHP Guru
Links : Onlinestatus : penizillin ist offline
Registriert seit: Feb 2004
Beiträge: 10.166
penizillin ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
... denn eigentlich sollte bei 290K DS etwas 120 MB belegt sein und nicht 536MB wie in der Fehlermeldung steht.
der overhead, der durch deine anwendung erzeugt wird, kann nur dir und php bekannt sein.

am besten optimierst du deine anwendung. brauchst du hilfe dabei?
was tut sie? zeig mal den relevanten code.
Mit Zitat antworten
  #3 (permalink)  
Alt 29-08-2007, 20:52
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Danke für deine Antwort. Ich hoffe das mein Anliegen richtig rüber gekommen ist. Mir erscheint, dass PHP nicht wirklich die in memory_limit angegebene Obergrenze ausnutzt, sondern statt dessen immer bei 128MB Speicherauslastung den o.g. Fehler ausgibt.
Selbst wenn hier das ein oder andere zu optimieren ginge, ich muss in der Praxis möglicherweise mit noch deutlich größeren Datenmengen zurecht kommen...

Hier ist mal die relevante Schleife in der die Datensätze von der MySQL DB ausgelesen werden:
(Ich hoffe, dass man den source nach dem senden immernoch mit copy & paste leserlich in einen editor einfügen kann - will sagen, daß die formatierung erhalten bleibt)

--ron

--------------------------------------------------------------------------------------

//--- Alle Datenbank-Zeilen durchlaufen für Analyse ---
echo "Speicherauslastung vor DB Uebertragung: ".memory_get_usage()."<BR>";
while ( $dataRow = mysql_fetch_assoc($dbData) ) {
//echo_d ("DATA ROW: ");
//print_pre( $dataRow );
//echo_d ("cZeit: ". $dataRow['Zeit_CallReq'] );
if ($rowCnt==100000)
echo "Speicherauslastung nach 100K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==200000)
echo "Speicherauslastung nach 200K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==250000)
echo "Speicherauslastung nach 250K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==275000)
echo "Speicherauslastung nach 275K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==290000)
echo "Speicherauslastung nach 290K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==300000)
echo "Speicherauslastung nach 300K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==400000)
echo "Speicherauslastung nach 400K DS: ".memory_get_usage()."<BR>";

for ($fieldCnt=0; $fieldCnt<count($analyse_FeldNamen); $fieldCnt++)
$analyse_Feld[$rowCnt][$analyse_FeldNamen[$fieldCnt]] = $dataRow[$db_FeldNamen[$fieldCnt]];

//Dauer aller Calls aufsummieren und für die Avg CallDauer durch rowCnt teilen
$gesDauer += $analyse_Feld[$rowCnt]['cDauer'];

//--- Call je Sekunde ------------------------------------------------------------------------------
$zeitFeld = explode(':', $analyse_Feld[$rowCnt]['cZeit']);
$zeitInSec = ($zeitFeld[0]*SEC_PER_HRS) + ($zeitFeld[1]*SEC_PER_MIN) + ($zeitFeld[2]);

if ( $zeitFeld[0][0] == '0' )
$zeitFeld[0] = $zeitFeld[0][1]; //Stunden filtern und führende 0 entfernen. Brauche ich um richtig in das Feld $callsInHrs zu speichern

for ($i=0; $i<$analyse_Feld[$rowCnt]['cDauer']; $i++)
$callsInSec[$zeitInSec+$i]++; //Jedes ArrayElement vom Zeitpunkt des Anrufs über seine Dauer, wird inkrementiert


//--- Call je Stunde ------------------------------------------------------------------------------
$callsInHrs[$zeitFeld[0]]++; // zeitFeld[0] sind die Stunden
//--- Call je Minute ------------------------------------------------------------------------------
$callsInMinute[($zeitFeld[0]*MIN_PER_HRS + $zeitFeld[1])]++;

$rowCnt++;

// echo_d ("--- Next While ------------------------------------------------------------------------------");
} //End While: Alle DB Einträge verarbeitet
Mit Zitat antworten
  #4 (permalink)  
Alt 29-08-2007, 21:07
penizillin
 PHP Guru
Links : Onlinestatus : penizillin ist offline
Registriert seit: Feb 2004
Beiträge: 10.166
penizillin ist zur Zeit noch ein unbeschriebenes Blatt
Standard

benutze die php-tags des forums zur lesbarkeit.
Mit Zitat antworten
  #5 (permalink)  
Alt 29-08-2007, 22:39
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Sorry, 2. Versuch...
PHP-Code:
    //---  Alle Datenbank-Zeilen durchlaufen für Analyse ---
    
echo "Speicherauslastung vor DB Uebertragung: ".memory_get_usage()."<BR>";
    while ( 
$dataRow mysql_fetch_assoc($dbData) ) {
          
//echo_d ("DATA ROW: ");
          //print_pre( $dataRow );
          //echo_d ("cZeit: ". $dataRow['Zeit_CallReq'] );        
        
if ($rowCnt==100000
            echo 
"Speicherauslastung nach 100K DS: ".memory_get_usage()."<BR>";
        if (
$rowCnt==200000
            echo 
"Speicherauslastung nach 200K DS: ".memory_get_usage()."<BR>";
        if (
$rowCnt==250000
            echo 
"Speicherauslastung nach 250K DS: ".memory_get_usage()."<BR>";        
        if (
$rowCnt==275000
            echo 
"Speicherauslastung nach 275K DS: ".memory_get_usage()."<BR>";                    
        if (
$rowCnt==290000
            echo 
"Speicherauslastung nach 290K DS: ".memory_get_usage()."<BR>";                                
        if (
$rowCnt==300000)         
            echo 
"Speicherauslastung nach 300K DS: ".memory_get_usage()."<BR>";
        if (
$rowCnt==400000
            echo 
"Speicherauslastung nach 400K DS: ".memory_get_usage()."<BR>";
            
        for (
$fieldCnt=0$fieldCnt<count($analyse_FeldNamen); $fieldCnt++)
            
$analyse_Feld[$rowCnt][$analyse_FeldNamen[$fieldCnt]] = $dataRow[$db_FeldNamen[$fieldCnt]];            
        
        
//Dauer aller Calls aufsummieren und für die Avg CallDauer durch rowCnt teilen
        
$gesDauer += $analyse_Feld[$rowCnt]['cDauer'];
        
        
//--- Call je Sekunde ------------------------------------------------------------------------------
        
$zeitFeld  explode(':'$analyse_Feld[$rowCnt]['cZeit']);
        
$zeitInSec = ($zeitFeld[0]*SEC_PER_HRS) + ($zeitFeld[1]*SEC_PER_MIN) + ($zeitFeld[2]);
        
        if ( 
$zeitFeld[0][0] == '0' )    
            
$zeitFeld[0] = $zeitFeld[0][1]; //Stunden filtern und führende 0 entfernen. Brauche ich um richtig in das Feld $callsInHrs zu speichern
                 
        
for ($i=0$i<$analyse_Feld[$rowCnt]['cDauer']; $i++)
            
$callsInSec[$zeitInSec+$i]++; //Jedes ArrayElement vom Zeitpunkt des Anrufs über seine Dauer, wird inkrementiert


        //--- Call je Stunde ------------------------------------------------------------------------------
        
$callsInHrs[$zeitFeld[0]]++;  // zeitFeld[0] sind die Stunden    
        //--- Call je Minute ------------------------------------------------------------------------------
        
$callsInMinute[($zeitFeld[0]*MIN_PER_HRS $zeitFeld[1])]++;
        
        
$rowCnt++;
        
//         echo_d ("--- Next While ------------------------------------------------------------------------------");
    
//End While: Alle DB Einträge verarbeitet 
Mit Zitat antworten
  #6 (permalink)  
Alt 29-08-2007, 23:46
tontechniker
 PHP Senior
Links : Onlinestatus : tontechniker ist offline
Registriert seit: Jul 2005
Beiträge: 1.972
tontechniker ist zur Zeit noch ein unbeschriebenes Blatt
Standard

OffTopic:
!
__________________
Die Regeln | rtfm | register_globals | strings | SQL-Injections | []
Mit Zitat antworten
  #7 (permalink)  
Alt 30-08-2007, 10:58
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Was willst du mir damit sagen Tontechniker?
Mit Zitat antworten
  #8 (permalink)  
Alt 30-08-2007, 11:02
axo
 Junior Member
Links : Onlinestatus : axo ist offline
Registriert seit: Jan 2006
Ort: 127.0.0.1
Beiträge: 196
axo ist zur Zeit noch ein unbeschriebenes Blatt
Standard

naja, du holst dir über 400.000 datensätze aus einer datenbank und packst die alle in ein mehrdimensionales array? das kann doch nicht gut gehen.

und selbst wenn du das memory limit auf 2G bekommst - was machst du dann, wenn du mit 800.000 datensätzen arbeitest? eine neue maschine mit 4G RAM ?

neeeee....

wozu hast du denn eine datenbank? du holst die (roh)daten gar nicht erst aus der db, sondern aggregierst das ganze geeignet über temporäre tabellen, COUNT, GROUP BY und UPDATE.

rtfm.
Mit Zitat antworten
  #9 (permalink)  
Alt 30-08-2007, 11:03
axo
 Junior Member
Links : Onlinestatus : axo ist offline
Registriert seit: Jan 2006
Ort: 127.0.0.1
Beiträge: 196
axo ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
Original geschrieben von Ronny76
Was willst du mir damit sagen Tontechniker?
dass du deine eigenen beiträge editieren kannst statt ein neues posting mit selbem inhalt reinzumachen. nur mal so als kleiner hinweis, dass du bitte nachdenken sollst bevor du was machst.
Mit Zitat antworten
  #10 (permalink)  
Alt 30-08-2007, 11:30
Ronny76
 Newbie
Links : Onlinestatus : Ronny76 ist offline
Registriert seit: Aug 2007
Beiträge: 5
Ronny76 ist zur Zeit noch ein unbeschriebenes Blatt
Standard

OK werde ich tun...
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

ADSMAN V3 - Werbe-Manager ansehen ADSMAN V3 - Werbe-Manager

ADSMAN V3 - mehr als nur ein Bannermanager! Banner, Textanzeigen und PagePeel Manager! Mit ADSMAN PRO haben Sie die Marketinglösung für eine effektive und effiziente Werbeschaltung mit messbaren Ergebnissen. Unterstützt werden Bannerformate in beliebi

25.10.2018 virtualsystem | Kategorie: PHP/ Bannerverwaltung
PHP News und Artikel Script V2

News schreiben, verwalten, veröffentlichen. Dies ist jetzt mit dem neuen PHP News & Artikel System von virtualsystem.de noch einfacher. Die integrierte Multi-User-Funktion und der WYSIWYG-Editor (MS-Office ähnliche Bedienung) ermöglichen...

25.10.2018 virtualsystem | Kategorie: PHP/ News
Top-Side Guestbook

Gästebuch auf Textbasis (kein MySQL nötig) mit Smilies, Ip Sperre (Zeit selbst einstellbar), Spamschutz, Captcha (Code-Eingabe), BB-Code, Hitcounter, Löschfunktion, Editierfunktion, Kommentarfunktion, Kürzung langer Wörter, Seiten- bzw. Blätterfunktion, V

22.10.2018 webmaster10 | Kategorie: PHP/ Gaestebuch
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 11:41 Uhr.