PHP & PHP Framework Benchmark Seite

[bricks]

Hallo zusammen,

würde dann auch ganz gerne mal meine Hompage vorstellen.

PHP Benchmark Suite - Fileoperations

Es gibt auch schon eine Diskussion in einem anderen Forum:

PC-Hilfe-Forum: PHP & PHP Framework Benchmark Seite : Webseiten-Vorstellung

Was haltet ihr davon?

Mit besten Grüßen

Sven

[h3ll]

Finde ich ziemlich sinnlos.

Die klinischen Messwerte sagen nichts über den Einsatz in der Praxis aus.

[bricks]

Finde ich ziemlich sinnlos.

Warum? Kann man keine sinnvollen Vergleichswerte ziehen oder findest du es an für sich ohne Nutzen?

[h3ll]

Warum? Kann man keine sinnvollen Vergleichswerte ziehen oder findest du es an für sich ohne Nutzen?

Ich finde es nutzlos. Diese Vergleichswerte bringen in der Praxis genau gar nix.

[ApoY2k]

Die Werte sind interessant, allerdings ist die Auswertung mangelhaft.

Um wirklich statistisch wertvolle und sinnvolle Werte zu erhalten, sollten alle Funktionen in einem Benchmark mehrfach laufen und daraus der Durchschnitt berechnet werden.

Schwankungen in dem kleinen Sekundenbereich sind normal, und daher werden manche Ergebnisse sicher anders ausfallen, wenn man sie mehrfach laufen lässt.

Sagen wir mal 1000 mal für jeden Benchmark. Daraus den Durchschnitt der Laufzeiten und den vergleichen. Dann hast du auch wirklich vergleichbare Werte.

[h3ll]

Sagen wir mal 1000 mal für jeden Benchmark. Daraus den Durchschnitt der Laufzeiten und den vergleichen. Dann hast du auch wirklich vergleichbare Werte.

Nicht wirklich. Man bräuchte einen realistischen Anwendungsfall, bei dem dann unterschiedliche Methoden für die selbe Aufgabe verwendet werden.

Es bringt genau gar nichts nur zu messen, wie lange das Öffnen einer Datei dauert. Das wäre ungefähr so, als würdest du ein Auto nur im 1. Gang messen und daraus Aussagen über dessen Beschleunigungswerte zu machen. Da bringt es auch nichts, wenn du die Messung 1000mal wiederholst, damit sie genauer wird.

[ApoY2k]

Klar bringt es was. Für bestimmte Anwendungsfälle.
Ich hatte schon öfter an bestimmten sehr spezifischen Stellen im Code Performanceprobleme. Wenn man dafür eine Lösung/Alternative hat anhand solcher Benchmarks, kann das einem schon helfen.

Um bei deiner Analogie zu bleiben: Doch, tut es - wenn ich z.B. nur beim Anfahren schnell sein will

[combie]

Das wäre ungefähr so, als würdest du ein Auto nur im 1. Gang messen und daraus Aussagen über dessen Beschleunigungswerte zu machen.

Auf die meisten Autos mag das zutreffen.
Aber mein Möppi kann sicherlich die 100km/h im ersten Gang erreichen. Mit Drehzahlen nahe der Todesgrenze. Vielleicht überlebt es sogar die 1000 Messungen.

[bricks]

Ich hatte es zuerst so programmiert, dass man die Werte nicht aktualisieren konnte, sondern so, dass bei jedem Aufruf die Tests in die Datenbank geschrieben werden und davon das arithmetische Mittel errechnet wurde.

Nach den Kommentaren sollte ich das vielleicht wieder so einrichten und einen dritten Wert anzeigen lassen.

Was mich hauptsächlich interessiert ist, ob ich mit der Arbeit daran fortsetzen soll.

[fireweasel]

Die Werte sind interessant, allerdings ist die Auswertung mangelhaft.

Um wirklich statistisch wertvolle und sinnvolle Werte zu erhalten, sollten alle Funktionen in einem Benchmark mehrfach laufen und daraus der Durchschnitt berechnet werden.

...

Sagen wir mal 1000 mal für jeden Benchmark. Daraus den Durchschnitt der Laufzeiten und den vergleichen. Dann hast du auch wirklich vergleichbare Werte.

Auch wenn es auf den ersten Blick so scheint, dass der Durchschnitt (welcher eigentlich?) aller Messwerte einen objektiven Vergleich ermöglicht: In einer Multitasking-Umgebung ist der kleinste Messwert (die kürzeste gemessene Laufzeit) der objektivste. Denn nur dieser ist am wenigsten von anderen (gleichzeitig laufenden) Prozessen beeinflusst. Siehe auch:
docs.python.org TimeIt

... Es bringt genau gar nichts nur zu messen, wie lange das Öffnen einer Datei dauert. ...

Nicht nur das: PHP's fopen()-Funktion ist auf verschiedenen Betriebssystemen unterschiedlich implementiert. Die darunterliegenden Betriebssystem-Funktionen sind wiederum vom verwendeten Dateisystem (und der Hardware) abhängig. Man erhält also bestenfalls einen aussagekräftigen Wert für die eine spezielle Konfiguration auf der der Benchmark läuft. Auch wenn man so tut, also ob die (eventuellen) Verzögerungen durch SPL oder Frameworks entscheidend für den Messwert wären, man bekommt nichts Aussagekräftiges heraus ...

Es ist auch wenig sinnvoll (bspw.) file_put_contents() gegen fopen()+flock()+fwrite()+fclose() antreten zu lassen. Beide Funktions-Gruppen haben ihre Anwendungsfälle. Aber die hängen nicht von der Laufzeit ab.

Was mich hauptsächlich interessiert ist, ob ich mit der Arbeit daran fortsetzen soll.

Warum nicht? Es gibt Leute, die sich für solche Vergleiche interessieren. Und wenn du es nicht nur als lästige Aufgabe siehst, mach weiter und verbessere es. Im ungünstigsten Fall lernst du eine Menge über Statistik und die Schwierigkeiten der Zeitmessung auf Computern.

[mermshaus]

Warum nicht? Es gibt Leute, die sich für solche Vergleiche interessieren.

Ein schrecklich schöner Thread dazu voller Animositäten war ja auch dieser: [Erledigt] PHP-Benchmark - php.de



(Ich gucke solche Benchmark-Seiten auch durchaus gerne mal an. Es ist aber einfach wichtig, die Ergebnisse passend einzuordnen.)

[bricks81]

Mein altes Benchmark

Sehe gerade, hab ja noch einen alten Beitrag hier im Forum.
Mein neuster Clou: http://www.php-resource.de/forum/use...community.html

Würde mich über eine rege Diskussion freuen.

Gruß Sven