php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > SQL / Datenbanken
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


SQL / Datenbanken Probleme mit SQL? Hier könnt ihr eure Fragen zu SQL (MySQL, PostgreSQL, MS-SQL und andere ANSI-SQL Server) los werden.

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 11-10-2010, 13:24
Sniky
 Registrierter Benutzer
Links : Onlinestatus : Sniky ist offline
Registriert seit: Aug 2003
Beiträge: 5
Sniky ist zur Zeit noch ein unbeschriebenes Blatt
Question Datenbank mit über 10Mio. Einträgen MySQLServer und DB Optimieren? BITTE HELFT MIR.

Hey ihr Lieben

ich bin hier im Moment am

Bei mir spinnt seit dem Server-Umzug meine Datenbank und dadurch läuft mysql die ganze zeit mit 100% durch. Nun bin ich zurzeit wieder mal dabei alles zu Optimieren. Nur bin ich bei meiner Gästebuchdatenbank langsam am Ende. Vielleicht könnt Ihr mir da ja noch ein paar Tips geben. Ich komme sonst hier echt nicht mehr mit dem Optimieren weiter.

Also mal zur Erklärung:

Meine Tabellenstruktur vom Gästebuch sieht so aus:

id = mediumint(8) NOT NULL auto_increment und hier liegt auch der PRIMARY Key drauf
fromuser = varchar(255) NOT NULL
touser = varchar(255) NOT NULL Liegt ein INDEX drauf.
massage = mediumtext NOT NULL
unread tinyint(1) NOT NULL Standart = 0 Liegt auch ein INDEX drauf
intime int(11) NOT NULL Standart = 0
rekoment mediumtext NOT NULL
privat int(1) NOT NULL Standart = 0


Ob die Tabellenstruktur jetzt für so eine riesen Datenbank wirklich die beste Auswahl ist, weiß ich nicht so genau, aber auf dem anderen Server lief es ja damit Super.

Nur hat diese Datenbank im Moment 5,5 Mio Einträge und wächst natürlich ständig weiter und kommt damit wohl langsam an seine Grenzen und die Select abfragen werden immer und immer langsamer. Darum wollte ich da jetzt auch noch mal ein wenig was dran ändern. Nur hab ich noch keine Idee, wo man hier am besten Optimieren kann.

Eine der häufigsten Abfragen auf meiner Seite ist, ob man neue GB Einträge hat. Das bremst aber jetzt langsam den Server so übel, dass ich da unbedingt was ändern muss.

Darum hab ich auch so 2 oder 3 Fragen

Beim Abfragen der neuen GB Einträge benutze ich folgenden Code:
PHP-Code:
$resultcountergb mysql_query("SELECT unread FROM `spop_gbook` where touser='".$comu."' AND `unread` = '0'");
$resultgb mysql_num_rows($resultcountergb); 
Diese Abfrage bremst aber den ganzen Server so übel, dass ich mich jetzt frage, was ist eigentlich schneller und nimmt den Server nicht ganz so viel Performance?

SELECT count(unread) oder mysql_num_rows (Ich hab schon 1000 Beiträge im Netz gelesen, aber mich interessiert hier einfach mal eure Erfahrung und Meinung dazu)? Und habe ich für diese Selectabfrage die INDEX auf meine Spalten richtig gesetzt? Und könnte ich das vielleicht mit einer order by desc Klausel noch ein bisschen beschleunigen? Also order by id desc passt hier glaube ich nicht, da er ja schon 1 Mio neue eintrage bis zum aufrufen haben kann. Und order by unread finde ich auch blödsin, da er ja nur 0 und 1 bei unread drin zu stehen hat und damit ja nicht wirklich ordnen müsste. Also order by touser könnte ich mir z.B. ganz gut vorstellen, nur weiß ich nicht ob das wirklich was bringen würde? Und als letzte Frage zu diesem Problem, im phpMyAdmin gibt es unter jeder Tabelle immer die Funktion: Tabellenstruktur analysieren... Kann ich dieser Funktion bei einer ständig wachsenden Tabelle auch vertrauen und damit meine Datenbank vielleicht noch mal ein bisschen Optimieren? Ich bin mir da nicht so sicher, da er ja in der Tabelle nach den kleinsten und den größten Eintrag sucht und diesen dann als Optimal anbietet. Doch kann sich doch an dem max. im laufe der Zeit auch was ändern. Sollte man dann da doch lieber ein bisschen großzügiger verteilen, oder?


So, das zum Optimieren meiner GB Datenbank, doch was würde das bringen, wenn man nicht auch die richtigen Einstellungen auf dem Server hat?

Darum hier mal ein paar Daten zu meinem Server und auch hier wieder die Große Frage, wo könnte ich nochmal ein wenig was an geschwindigkeit raus holen?

Also mein Server hat folgende Hardware:
2 x Intel Xeon - E5504 = 2 x 4 x 2,0 GHz
8GB DDR3 Ram
2 x 1.000 GB SATA II
PHP Version: 5.2.6-1+lenny9
MySQL Version: 5.0.51a

Mehr ist ja jetzt zum Optimieren vom Server nicht nötig, oder?

So und hier mal meine Einstellungen:

Meine Apache2.conf:
Code:
Timeout 150
KeepAlive On
MaxKeepAliveRequests 10
KeepAliveTimeout 2

<IfModule mpm_prefork_module>
StartServers 5
MinSpareServers 30
MaxSpareServers 50
MaxClients 256
MaxRequestsPerChild 4000
</IfModule>

<IfModule mpm_worker_module>
StartServers 5
MaxClients 256
MinSpareThreads 30
MaxSpareThreads 75
ThreadsPerChild 50
MaxRequestsPerChild 4000
</IfModule>

HostnameLookups Off
Meine my.conf:
Code:
key_buffer = 128M
net_buffer_length = 8K

sort_buffer_size = 128K
myisam_sort_buffer_size = 30M
read_buffer_size = 64K
read_rnd_buffer_size = 64K
join_buffer_size = 4M

query_cache_size = 64M
thread_cache = 128
thread_concurrency = 4
table_cache = 2048
max_allowed_packet = 10M

max_connections = 1500
low_priority_updates = 1
#long_query_time = 2

connect_timeout = 30
wait_timeout = 1800

thread_stack = 128K
thread_cache_size = 8
#thread_concurrency = 10
#
# * Query Cache Configuration
#
query_cache_limit = 1M
An der php.ini hab ich eigentlich nichts geändert. Vielleicht hat aber auch hier der eine oder andere einen vorschlag, was man an der php.ini noch machen sollte, um den Server noch ein wenig zu beschleunigen?

- Ich bin für jeden Tip und jede Antwort wirklich sehr sehr dankbar und bedanke mich schon mal, dass du dir die Zeit genommen hast, meine Frage zu lesen.

- Liebe Grüße,
Sniky

Geändert von wahsaga (11-10-2010 um 15:02 Uhr) Grund: Beitrag wieder hergestellt, um Threadverlauf nachvollziehbar zu halten
Mit Zitat antworten
  #2 (permalink)  
Alt 11-10-2010, 13:30
TobiaZ
  Moderator
Links : Onlinestatus : TobiaZ ist offline
Registriert seit: Jan 2001
Ort: MUC und MGL, Germany
Beiträge: 34.421
Blog-Einträge: 1
TobiaZ befindet sich auf einem aufstrebenden Ast
Standard

auf den ersten Blick: touser ist VarChar?

Zitat:
SELECT count(unread) oder mysql_num_rows (Ich hab schon 1000 Beiträge im Netz gelesen, aber mich interessiert hier einfach mal eure Erfahrung und Meinung dazu)?
wenn du schon so viel darüber gelesen hast, was ist daran nicht zu verstehen, dass bei der numrows-Variante erstmal alle Zeilen im Speicher landen, obwohl du sie nicht brauchst?
...
ein limit 1 könnte in jedem Fall nicht schaden.
__________________
ERST LESEN: Unsere Regeln. | Ich hab schon Pferde kotzen sehn!

READ THIS: Strings richtig trennen/verbinden | JOINs, das leidige Thema | Wegwerf E-Mail Adressen

Ich werde keinen privaten 1:1 Support leisten, außer ich biete ihn ausdrücklich an.

Wenn man sich selbst als "Noob" bezeichnet, sollte man die Finger davon lassen.
Wenn man gewillt ist daran etwas zu ändern, lernt man Grundlagen!

Geändert von TobiaZ (11-10-2010 um 13:36 Uhr)
Mit Zitat antworten
  #3 (permalink)  
Alt 11-10-2010, 13:36
combie
 PHP Expert
Links : Onlinestatus : combie ist offline
Registriert seit: May 2006
Beiträge: 3.296
combie wird schon bald berühmt werden
Standard

Hmm...
Erstmal würde ich den where Teil tauschen.

Code:
SELECT unread 
  FROM `spop_gbook` 
  WHERE `unread` = '0' AND touser='".$comu."'
Ob das so der Bringer ist, naja...


Code:
EXPLAIN SELECT unread 
  FROM `spop_gbook` 
  WHERE `unread` = '0' AND touser='".$comu."'
Müsste dir die Schwachstelle zeigen können


Zitat:
fromuser = varchar(255) NOT NULL
touser = varchar(255) NOT NULL Liegt ein INDEX drauf.
Diese User stehen sicherlich in einer n:m Relation.
Sollten also in eine "User" Tabelle ausgelagert werden.
Dadurch werden die betreffenden Spalten in der "Messages" Tabelle numerisch.
Siehe: Die 5 Normal Formen
__________________
Wir werden alle sterben
Mit Zitat antworten
  #4 (permalink)  
Alt 11-10-2010, 13:55
Sniky
 Registrierter Benutzer
Links : Onlinestatus : Sniky ist offline
Registriert seit: Aug 2003
Beiträge: 5
Sniky ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Erstmal vielen Dank für eure schnellen Antworten

Zitat:
Zitat von combie Beitrag anzeigen
Hmm...
Erstmal würde ich den where Teil tauschen.

Code:
SELECT unread 
FROM `spop_gbook` 
WHERE `unread` = '0' AND touser='".$comu."'
Ob das so der Bringer ist, naja...
Ok, werde ich auf jeden Fall schon mal machen, werde ich ja sehen ob es was bringt

Zitat:
Zitat von combie Beitrag anzeigen
Code:
EXPLAIN SELECT unread 
FROM `spop_gbook` 
WHERE `unread` = '0' AND touser='".$comu."'
Müsste dir die Schwachstelle zeigen können
Bringt mit die Folgende Ausgabe:

id select_type table type possible_keys key key_len ref rows Extra
1 SIMPLE spop_gbook index_merge touser,unread unread,touser 1,257 NULL 300 Using intersect(unread,touser); Using where; Using...



Zitat:
Zitat von combie Beitrag anzeigen
Diese User stehen sicherlich in einer n:m Relation.
Sollten also in eine "User" Tabelle ausgelagert werden.
Dadurch werden die betreffenden Spalten in der "Messages" Tabelle numerisch.
Siehe: Die 5 Normal Formen
Also das verstehe ich jetzt nicht ganz, n:m?

Ich hab das jetzt mal so verstanden, dass ich in den feldern fromuser und touser lieber mit id´s arbeiten sollte? Aber wäre das dann nicht noch eine abfrage mehr, um erstmal herauszufinden wer hinter dieser ID überhaupt steckt?

Ich hab ja schon eine Usertabelle mit ID, aber ich bin mir jetzt nicht so sicher, wie ich das ändern sollte? dann müsste ich die 5,5Mio einträge ja komplett ändern und überall erstmal die ID setzen lassen und dann die Spalten ändern, oder?


@TobiaZ


auf den ersten Blick: touser ist VarChar?

kannst du mir das vielleicht auch kurz erklären, warum du das auf VarChar ändern würdest?

Vielen Dank für euren Antworten.

Liebe Grüße,
Sniky

Geändert von wahsaga (11-10-2010 um 15:03 Uhr) Grund: Beitrag wiederhergestellt
Mit Zitat antworten
  #5 (permalink)  
Alt 11-10-2010, 14:03
TobiaZ
  Moderator
Links : Onlinestatus : TobiaZ ist offline
Registriert seit: Jan 2001
Ort: MUC und MGL, Germany
Beiträge: 34.421
Blog-Einträge: 1
TobiaZ befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
kannst du mir das vielleicht auch kurz erklären, warum du das auf VarChar ändern würdest?
Es IST bereits Varchar! (ist doch deine eigene Strucktur ) Ich würde es natürlich nicht als Varchar sehn wollen, sondern lediglich die ID als INT speichen...
__________________
ERST LESEN: Unsere Regeln. | Ich hab schon Pferde kotzen sehn!

READ THIS: Strings richtig trennen/verbinden | JOINs, das leidige Thema | Wegwerf E-Mail Adressen

Ich werde keinen privaten 1:1 Support leisten, außer ich biete ihn ausdrücklich an.

Wenn man sich selbst als "Noob" bezeichnet, sollte man die Finger davon lassen.
Wenn man gewillt ist daran etwas zu ändern, lernt man Grundlagen!
Mit Zitat antworten
  #6 (permalink)  
Alt 11-10-2010, 14:11
combie
 PHP Expert
Links : Onlinestatus : combie ist offline
Registriert seit: May 2006
Beiträge: 3.296
combie wird schon bald berühmt werden
Standard

Zitat:
Also das verstehe ich jetzt nicht ganz, n:m?
Dann solltest du dir die Zeit nehmen und diesen beiden Links folgen.
und natürlich das dortige aufmerksam lesen
Die 5 Normal Formen
A Visual Explanation of SQL Joins
__________________
Wir werden alle sterben
Mit Zitat antworten
  #7 (permalink)  
Alt 11-10-2010, 14:12
Sniky
 Registrierter Benutzer
Links : Onlinestatus : Sniky ist offline
Registriert seit: Aug 2003
Beiträge: 5
Sniky ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
Zitat von TobiaZ Beitrag anzeigen
Es IST bereits Varchar! (ist doch deine eigene Strucktur ) Ich würde es natürlich nicht als Varchar sehn wollen, sondern lediglich die ID als INT speichen...
ja das hatte ja @combie glaube ich auch so gemeint. aber dazu hatte ich ja auch schon was gefragt.

Aber wäre das dann nicht noch eine abfrage mehr, um erstmal herauszufinden wer hinter dieser ID überhaupt steckt?

Ich hab ja schon eine Usertabelle mit ID, aber ich bin mir jetzt nicht so sicher, wie ich das ändern sollte? dann müsste ich die 5,5Mio einträge ja komplett ändern und überall erstmal die ID setzen lassen und dann die Spalten ändern, oder?


Ich lese ja die GB´s auch wieder aus und da müsste ich ja dann auch nochmal auf die DB der User zugreifen... Das wollte ich ja eigentlich vermeiden, darum stehen ja auch in diesen Feld die Usernamen und nicht die ID´s

Ich kann mir schon vorstellen, dass es mit intfeldern sicherlich eine schnellere Antwort bei der anzahl von DB einträgen gehen würde, doch wird diese Datenbank den ganzen Tag ausgelesen, geupdatet und reingeschrieben und auch daten gelöscht und ich glaube da wäre es dann wieder langsamer wenn ich erst überprüfen müsste, wer die ID xx hat, oder?

Vielen Dank

Liebe Grüße,
Sniky

Geändert von wahsaga (11-10-2010 um 15:04 Uhr) Grund: Beitrag wiederhergestellt
Mit Zitat antworten
  #8 (permalink)  
Alt 11-10-2010, 14:18
combie
 PHP Expert
Links : Onlinestatus : combie ist offline
Registriert seit: May 2006
Beiträge: 3.296
combie wird schon bald berühmt werden
Standard

Zitat:
und ich glaube da wäre es dann wieder langsamer wenn ich erst überprüfen müsste, wer die ID xx hat, oder?
Relationale Datenbanken heißen Relationale Datenbanken, weil diese Datenbanken in Relationen "denken". Sie sind darauf spezialisiert genau diese Beziehungen zu verwalten und bei Abfragen zu nutzen.
__________________
Wir werden alle sterben
Mit Zitat antworten
  #9 (permalink)  
Alt 11-10-2010, 14:19
wahsaga
  Moderator
Links : Onlinestatus : wahsaga ist offline
Registriert seit: Sep 2001
Beiträge: 25.236
wahsaga befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Wäre, müsste, kann mir vostellen, ich glaube ...
Aus all dem spricht eine ziemlich große Unkenntnis vom sinnvollen Umgang mit relationalen Datenbanken.
Deshalb würde ich vorschlagen, du suchst dir erst mal ein Tutorial/Buch zu der Thematik, und arbeitest das durch.
__________________
I don't believe in rebirth. Actually, I never did in my whole lives.
Mit Zitat antworten
  #10 (permalink)  
Alt 11-10-2010, 14:28
Sniky
 Registrierter Benutzer
Links : Onlinestatus : Sniky ist offline
Registriert seit: Aug 2003
Beiträge: 5
Sniky ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
Zitat von wahsaga Beitrag anzeigen
Aus all dem spricht eine ziemlich große Unkenntnis vom sinnvollen Umgang mit relationalen Datenbanken.
Deshalb würde ich vorschlagen, du suchst dir erst mal ein Tutorial/Buch zu der Thematik, und arbeitest das durch.


Tolle Antwort...

ich kauf mir ein Buch und höre dann ab sofort auf im Forum zu fragen... Geht ja jetzt auch viel schneller ein 500Seiten großes Buch zu lesen.

Hast aber recht, werde ich jetzt machen... Der Beitrag kann dann wieder geschlossen werden.

vg, Sniky
Mit Zitat antworten
  #11 (permalink)  
Alt 11-10-2010, 14:34
combie
 PHP Expert
Links : Onlinestatus : combie ist offline
Registriert seit: May 2006
Beiträge: 3.296
combie wird schon bald berühmt werden
Standard

Zitat:
Zitat von Sniky Beitrag anzeigen
Tolle Antwort...
Ja, ist sie!

Ich kann nicht, und will auch gar nicht, mit "jedem" einen kostenlosen Grundlagenkurs durchziehen. Und leider wirst du mich nicht verstehen, wenn du die Grundlagen nicht beherrscht.

Oder anders rum:
Und wenn es dir zu viel ist ein "500 Seiten Buch" zu lesen, naja, dann könnte programmieren das falsche Hobby für dich sein.
__________________
Wir werden alle sterben
Mit Zitat antworten
  #12 (permalink)  
Alt 11-10-2010, 15:00
Kropff
  Administrator
Links : Onlinestatus : Kropff ist offline
Registriert seit: Mar 2002
Ort: Köln
Beiträge: 11.722
Kropff befindet sich auf einem aufstrebenden Ast
Standard

@Sniky

Bitte NICHT deine Threads löschen! Verwarn!

Peter
__________________
Nukular, das Wort ist N-u-k-u-l-a-r (Homer Simpson)
Meine Seite
Mit Zitat antworten
  #13 (permalink)  
Alt 11-10-2010, 15:01
unset
  Moderator
Links : Onlinestatus : unset ist offline
Registriert seit: Jan 2007
Ort: Düsseldorf
Beiträge: 3.782
unset befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von Sniky Beitrag anzeigen
Hast aber recht, werde ich jetzt machen... Der Beitrag kann dann wieder geschlossen werden.
und dann brauchst du auch gar nicht wieder kommen. wer hier threads entstellt und sich auch noch aufregt, dass ihm keiner hilft, der hat so einiges nicht kapiert. adios.
Mit Zitat antworten
Antwort

Lesezeichen

Stichworte
datenbank, mysql, server


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
Bitte helft mit... jahlives Out of Order 24 23-02-2007 12:10
Bitte helft mir trashoverwrite Off-Topic Diskussionen 5 31-08-2005 15:38
Bitte helft mir!!!! Omorfi PHP Developer Forum 10 13-04-2005 14:35
PHP Übergabe an Datenbank. Bitte helft mir HunTer12 Apps und PHP Script Gesuche 4 07-04-2004 13:14
bitte helft mir !! kopfkult PHP Developer Forum 2 13-10-2001 19:34

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

PHP Server Monitor

PHP Server Monitor ist ein Skript, das prüft, ob Ihre Websites und Server betriebsbereit sind.

11.09.2018 Berni | Kategorie: PHP/ Security
PHP WEB STATISTIK ansehen PHP WEB STATISTIK

Die PHP Web Statistik bietet Ihnen ein einfach zu konfigurierendes Script zur Aufzeichnung und grafischen und textuellen Auswertung der Besuchern Ihrer Webseite. Folgende zeitlichen Module sind verfügbar: Jahr, Monat, Tag, Wochentag, Stunde Folgende son

28.08.2018 phpwebstat | Kategorie: PHP/ Counter
Affilinator - Affilinet XML Produktlisten Skript

Die Affilinator Affilinet XML Edition ist ein vollautomatisches Skript zum einlesen und darstellen der Affili.net (Partnerprogramm Netzwerk) Produktlisten und Produktdaten. Im Grunde gibt der Webmaster seine Affilinet PartnerID ein und hat dann unmittelb

27.08.2018 freefrank@ | Kategorie: PHP/ Partnerprogramme
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 15:09 Uhr.