php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > SQL / Datenbanken
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


SQL / Datenbanken Probleme mit SQL? Hier könnt ihr eure Fragen zu SQL (MySQL, PostgreSQL, MS-SQL und andere ANSI-SQL Server) los werden.

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 05-02-2008, 08:54
Entilan
 Newbie
Links : Onlinestatus : Entilan ist offline
Registriert seit: Feb 2008
Beiträge: 12
Entilan ist zur Zeit noch ein unbeschriebenes Blatt
Standard MYSQL mühe mit so vielen Einträge?

Hallo Zusammen


ich glaube, dass MySql mühe hat mit so vielen Einträge und zu grossen Datenbank (z.B. selects brauchen bis zu stunden, bis der Results bekommt)? Ich hab damit gerechnet, dass es bis zu 2 TB sein wird, daher die Infrastrucktur dementsprechend bereitgestellt.

Aber MySql ist wohl nicht die richtige Lösung für so grosse Datenmengen. Oder wie sieht ihr das?

Im Anhang die Statistik (Aufereitungszeit: 35 Minuten).
__________________


Gruss
Entilan

------------------------
SIE LIEBEN ES - WIR VERSICHERN ES!
Mit Zitat antworten
  #2 (permalink)  
Alt 05-02-2008, 09:20
Benutzerbild von onemorenerd onemorenerd
  Moderator
Links : Onlinestatus : onemorenerd ist offline
Registriert seit: Mar 2005
Ort: Berlin
Beiträge: 9.471
onemorenerd wird schon bald berühmt werdenonemorenerd wird schon bald berühmt werden
Standard

Wo ist der Anhang?
Mit Zitat antworten
  #3 (permalink)  
Alt 05-02-2008, 09:30
Entilan
 Newbie
Links : Onlinestatus : Entilan ist offline
Registriert seit: Feb 2008
Beiträge: 12
Entilan ist zur Zeit noch ein unbeschriebenes Blatt
Standard

sry.

__________________


Gruss
Entilan

------------------------
SIE LIEBEN ES - WIR VERSICHERN ES!
Mit Zitat antworten
  #4 (permalink)  
Alt 05-02-2008, 10:02
tontechniker
 PHP Senior
Links : Onlinestatus : tontechniker ist offline
Registriert seit: Jul 2005
Beiträge: 1.972
tontechniker ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Prinzipiell müsste das laufen, was hast du denn da für einen Rechner hinter? Indizes / etc hast du aber schon gesetzt oder?
__________________
Die Regeln | rtfm | register_globals | strings | SQL-Injections | []
Mit Zitat antworten
  #5 (permalink)  
Alt 05-02-2008, 10:05
Entilan
 Newbie
Links : Onlinestatus : Entilan ist offline
Registriert seit: Feb 2008
Beiträge: 12
Entilan ist zur Zeit noch ein unbeschriebenes Blatt
Standard

ich hab soweit alles optmiert. Index erstellt etc. Aber einfache abfragen wie statistik dauert ewig.
__________________


Gruss
Entilan

------------------------
SIE LIEBEN ES - WIR VERSICHERN ES!
Mit Zitat antworten
  #6 (permalink)  
Alt 05-02-2008, 12:20
Benutzerbild von onemorenerd onemorenerd
  Moderator
Links : Onlinestatus : onemorenerd ist offline
Registriert seit: Mar 2005
Ort: Berlin
Beiträge: 9.471
onemorenerd wird schon bald berühmt werdenonemorenerd wird schon bald berühmt werden
Standard

Eine DB im Terrabyte-Bereich ist schon ziemlich fett.

Wenn du das DB-Schema als Attachment bereitstellst, kann man genauere Aussagen treffen. Mit den bisher genannten Zahlen kann ich erstmal nicht viel anfangen.
Mit Zitat antworten
  #7 (permalink)  
Alt 05-02-2008, 13:24
Benutzerbild von Berni Berni
  OWNER
Links : Onlinestatus : Berni ist offline
Registriert seit: Jan 2001
Ort: Frankfurt / Egelsbach
Beiträge: 6.306
Blog-Einträge: 6
Berni befindet sich auf einem aufstrebenden Ast
Standard

bitte keine Dumps posten
__________________

php-Entwicklung | ebiz-consult.de
PHP-Webhosting für PHP Entwickler | ebiz-webhosting.de
die PHP Marktplatz-Software | ebiz-trader.de
Mit Zitat antworten
  #8 (permalink)  
Alt 05-02-2008, 13:34
TobiaZ
  Moderator
Links : Onlinestatus : TobiaZ ist offline
Registriert seit: Jan 2001
Ort: MUC und MGL, Germany
Beiträge: 34.421
Blog-Einträge: 1
TobiaZ befindet sich auf einem aufstrebenden Ast
Standard

OffTopic:
Beim erstellen eines Dumps kann man sich auch auf die Struktur beschränken. Ja, ich weiß, das sollte ein Witz sein...
__________________
ERST LESEN: Unsere Regeln. | Ich hab schon Pferde kotzen sehn!

READ THIS: Strings richtig trennen/verbinden | JOINs, das leidige Thema | Wegwerf E-Mail Adressen

Ich werde keinen privaten 1:1 Support leisten, außer ich biete ihn ausdrücklich an.

Wenn man sich selbst als "Noob" bezeichnet, sollte man die Finger davon lassen.
Wenn man gewillt ist daran etwas zu ändern, lernt man Grundlagen!
Mit Zitat antworten
  #9 (permalink)  
Alt 05-02-2008, 14:36
Entilan
 Newbie
Links : Onlinestatus : Entilan ist offline
Registriert seit: Feb 2008
Beiträge: 12
Entilan ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
Original geschrieben von Berni
bitte keine Dumps posten
Hehe.. ^^ viel spass beim runterladen und wieder hochladen. ^^

Ich werde nur mal die Strucktur dumpen.
Angehängte Dateien
Dateityp: txt d0070282[1].txt (10,6 KB, 360x aufgerufen)
__________________


Gruss
Entilan

------------------------
SIE LIEBEN ES - WIR VERSICHERN ES!
Mit Zitat antworten
  #10 (permalink)  
Alt 05-02-2008, 14:48
TobiaZ
  Moderator
Links : Onlinestatus : TobiaZ ist offline
Registriert seit: Jan 2001
Ort: MUC und MGL, Germany
Beiträge: 34.421
Blog-Einträge: 1
TobiaZ befindet sich auf einem aufstrebenden Ast
Standard

Also was mir auf die Schnell auffällt:

link_keyword1,2,3 ... d,e,f würde ich mal verteufeln. Kann eigentlich nicht gewollt sein.
Dann fallen mir beim drüberfliegen viele Tabellen ganz ohne Key auf, einige ohne primary-key

Zitat:
Hehe.. ^^ viel spass beim runterladen und wieder hochladen. ^^
Ne ne, der hatte nur Angst, dass der Server diesmal total abraucht.
__________________
ERST LESEN: Unsere Regeln. | Ich hab schon Pferde kotzen sehn!

READ THIS: Strings richtig trennen/verbinden | JOINs, das leidige Thema | Wegwerf E-Mail Adressen

Ich werde keinen privaten 1:1 Support leisten, außer ich biete ihn ausdrücklich an.

Wenn man sich selbst als "Noob" bezeichnet, sollte man die Finger davon lassen.
Wenn man gewillt ist daran etwas zu ändern, lernt man Grundlagen!
Mit Zitat antworten
  #11 (permalink)  
Alt 05-02-2008, 14:54
jahlives
 Master
Links : Onlinestatus : jahlives ist offline
Registriert seit: Jun 2004
Ort: Hooker in Kernel
Beiträge: 8.279
jahlives ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
Ne ne, der hatte nur Angst, dass der Server diesmal total abraucht
OffTopic:

Irgendwie glaube ich, dass eine Datei im TB-Bereich es gar nicht bis zum Server geschafft hätte. Da hätte wohl der Client als erstes abgeraucht

__________________
Gutes Tutorial | PHP Manual | MySql Manual | PHP FAQ | Apache | Suchfunktion für eigene Seiten

"An error does not become truth by reason of multiplied propagation, nor does truth become error because nobody sees it."
Mohandas Karamchand Gandhi (Mahatma Gandhi) (Source)
Mit Zitat antworten
  #12 (permalink)  
Alt 05-02-2008, 15:00
Entilan
 Newbie
Links : Onlinestatus : Entilan ist offline
Registriert seit: Feb 2008
Beiträge: 12
Entilan ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
Original geschrieben von TobiaZ
Also was mir auf die Schnell auffällt:

link_keyword1,2,3 ... d,e,f würde ich mal verteufeln. Kann eigentlich nicht gewollt sein.
Dann fallen mir beim drüberfliegen viele Tabellen ganz ohne Key auf, einige ohne primary-key

Ne ne, der hatte nur Angst, dass der Server diesmal total abraucht.
sag jetzt nicht, dass es so ein spassvogel gab und so ein file hochgeladen hat. *grins*

es hat einen bestimmten grund, warum link_keywordX.
Es werden alle Wörter im Keyword Tabelle gespeichert. Die Tabellen link_keywordX sind sogenannten Verlinkungstabellen zwischen Keyword, Domain und Hyperlink Tabelle.

Die Verlinkungstabellen ergeben gesamte Summe von über 90mio rows.
Das einige Tabellen ohne Key auskommt, ist auch gewollt. Da zum beispiel die Domaintabelle den Key nicht braucht.
__________________


Gruss
Entilan

------------------------
SIE LIEBEN ES - WIR VERSICHERN ES!
Mit Zitat antworten
  #13 (permalink)  
Alt 05-02-2008, 15:58
TobiaZ
  Moderator
Links : Onlinestatus : TobiaZ ist offline
Registriert seit: Jan 2001
Ort: MUC und MGL, Germany
Beiträge: 34.421
Blog-Einträge: 1
TobiaZ befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
sag jetzt nicht, dass es so ein spassvogel gab und so ein file hochgeladen hat. *grins*
Nee, das verhindert das Forum automatisch, aber der Server hustet(e) in letzter Zeit trotzdem gewaltig.

Aber zurück zu deinem Problem. (Ist ja schön, dass wir auch noch mal was reinbekommen, was sich nicht über die Suche erledigen lässt...)

Leider ist es von Extern aber auch was schwer sich da reinzudenken (zumindest so nebenbei).

EDIT:
nee, war quatsch. Hatte was übersehen...


Naja, soll der ghostgambler sich mal angucken. Sehe da auf anhieb nicht mehr wirklich optimierungspotential, wobei mir natürlich auch die Abfragen unbekannt sind.

90mio ist aber auch wirklich ne menge...
__________________
ERST LESEN: Unsere Regeln. | Ich hab schon Pferde kotzen sehn!

READ THIS: Strings richtig trennen/verbinden | JOINs, das leidige Thema | Wegwerf E-Mail Adressen

Ich werde keinen privaten 1:1 Support leisten, außer ich biete ihn ausdrücklich an.

Wenn man sich selbst als "Noob" bezeichnet, sollte man die Finger davon lassen.
Wenn man gewillt ist daran etwas zu ändern, lernt man Grundlagen!
Mit Zitat antworten
  #14 (permalink)  
Alt 05-02-2008, 16:18
Entilan
 Newbie
Links : Onlinestatus : Entilan ist offline
Registriert seit: Feb 2008
Beiträge: 12
Entilan ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zitat:
Nee, das verhindert das Forum automatisch, aber der Server hustet(e) in letzter Zeit trotzdem gewaltig.
Hehe.. jeder wird mal alt und gebrechig.

Zitat:
Aber zurück zu deinem Problem. (Ist ja schön, dass wir auch noch mal was reinbekommen, was sich nicht über die Suche erledigen lässt...)
Ich hab die Google gesucht und auch hier im Forum. Leider sind die Antworten für mich nicht ausreichend. Bevor ich weiter an meinem Spider entwickle, möchte ich wissen, ob der mysql den Datenstrom gewachsen ist, oder ich auf Oracle10 umsteige. Die Daten wurden innerhalb von 2 wochen befüllt.

Zitat:
EDIT:
nee, war quatsch. Hatte was übersehen...
Hmm? Was meinst du damit?



Zitat:
Naja, soll der ghostgambler sich mal angucken. Sehe da auf anhieb nicht mehr wirklich optimierungspotential, wobei mir natürlich auch die Abfragen unbekannt sind.
Jo, das mit der optimierung hab ich auch schon versucht und komme da nicht auf einem Nenner. Dann erhoffe ich mal auf das statment vom Gambler.

Zitat:
90mio ist aber auch wirklich ne menge...
Jep.. und tendenz sehr stark steigend. hab bereits wieder Platten gekauft.
Kaum vorstellbar, dass dies eigendlich nur einen Testlauf ist.


Achso, wollte noch anmerken, dass ich die Hilfe hier super finde. Fast so gut wie unser Helpdesk bei der AXA. *grins*
__________________


Gruss
Entilan

------------------------
SIE LIEBEN ES - WIR VERSICHERN ES!
Mit Zitat antworten
  #15 (permalink)  
Alt 05-02-2008, 16:29
TobiaZ
  Moderator
Links : Onlinestatus : TobiaZ ist offline
Registriert seit: Jan 2001
Ort: MUC und MGL, Germany
Beiträge: 34.421
Blog-Einträge: 1
TobiaZ befindet sich auf einem aufstrebenden Ast
Standard

Ui, das wird nen Spider? Ich hatte es für nen internes Verwaltungssystem gehalten... Wenn die Daten noch deutlich mehr werden, dann würde ich definitiv auf was "stärkeres" umsteigen. Oracle hört sich da für mich nicht so falsch an. Wo bei die Größe meine Kenntnisse übertrifft...

Was meinen Edit angeht, ich hatte ursprünglich noch ne Stelle gefunden, aber hatte ne "Kleinigkeit" übersehen. Mein Vorschlag war nämlich längst implementiert.
__________________
ERST LESEN: Unsere Regeln. | Ich hab schon Pferde kotzen sehn!

READ THIS: Strings richtig trennen/verbinden | JOINs, das leidige Thema | Wegwerf E-Mail Adressen

Ich werde keinen privaten 1:1 Support leisten, außer ich biete ihn ausdrücklich an.

Wenn man sich selbst als "Noob" bezeichnet, sollte man die Finger davon lassen.
Wenn man gewillt ist daran etwas zu ändern, lernt man Grundlagen!
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

PHP Server Monitor

PHP Server Monitor ist ein Skript, das prüft, ob Ihre Websites und Server betriebsbereit sind.

11.09.2018 Berni | Kategorie: PHP/ Security
PHP WEB STATISTIK ansehen PHP WEB STATISTIK

Die PHP Web Statistik bietet Ihnen ein einfach zu konfigurierendes Script zur Aufzeichnung und grafischen und textuellen Auswertung der Besuchern Ihrer Webseite. Folgende zeitlichen Module sind verfügbar: Jahr, Monat, Tag, Wochentag, Stunde Folgende son

28.08.2018 phpwebstat | Kategorie: PHP/ Counter
Affilinator - Affilinet XML Produktlisten Skript

Die Affilinator Affilinet XML Edition ist ein vollautomatisches Skript zum einlesen und darstellen der Affili.net (Partnerprogramm Netzwerk) Produktlisten und Produktdaten. Im Grunde gibt der Webmaster seine Affilinet PartnerID ein und hat dann unmittelb

27.08.2018 freefrank@ | Kategorie: PHP/ Partnerprogramme
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 04:58 Uhr.