MYSQL mühe mit so vielen Einträge?

[Entilan]

Hallo Zusammen


ich glaube, dass MySql mühe hat mit so vielen Einträge und zu grossen Datenbank (z.B. selects brauchen bis zu stunden, bis der Results bekommt)? Ich hab damit gerechnet, dass es bis zu 2 TB sein wird, daher die Infrastrucktur dementsprechend bereitgestellt.

Aber MySql ist wohl nicht die richtige Lösung für so grosse Datenmengen. Oder wie sieht ihr das?

Im Anhang die Statistik (Aufereitungszeit: 35 Minuten).

[onemorenerd]

Wo ist der Anhang?

[Entilan]

sry.

[tontechniker]

Prinzipiell müsste das laufen, was hast du denn da für einen Rechner hinter? Indizes / etc hast du aber schon gesetzt oder?

[Entilan]

ich hab soweit alles optmiert. Index erstellt etc. Aber einfache abfragen wie statistik dauert ewig.

[onemorenerd]

Eine DB im Terrabyte-Bereich ist schon ziemlich fett.

Wenn du das DB-Schema als Attachment bereitstellst, kann man genauere Aussagen treffen. Mit den bisher genannten Zahlen kann ich erstmal nicht viel anfangen.

[admin]

bitte keine Dumps posten

[TobiaZ]

OffTopic:

---

Beim erstellen eines Dumps kann man sich auch auf die Struktur beschränken. [COLOR=silver]Ja, ich weiß, das sollte ein Witz sein...[/COLOR]

---

[Entilan]

Original geschrieben von Berni
bitte keine Dumps posten

Hehe.. ^^ viel spass beim runterladen und wieder hochladen. ^^

Ich werde nur mal die Strucktur dumpen.

[TobiaZ]

Also was mir auf die Schnell auffällt:

link_keyword1,2,3 ... d,e,f würde ich mal verteufeln. Kann eigentlich nicht gewollt sein.
Dann fallen mir beim drüberfliegen viele Tabellen ganz ohne Key auf, einige ohne primary-key

Hehe.. ^^ viel spass beim runterladen und wieder hochladen. ^^

Ne ne, der hatte nur Angst, dass der Server diesmal total abraucht.

[jahlives]

Ne ne, der hatte nur Angst, dass der Server diesmal total abraucht

OffTopic:

---

Irgendwie glaube ich, dass eine Datei im TB-Bereich es gar nicht bis zum Server geschafft hätte. Da hätte wohl der Client als erstes abgeraucht

---

[Entilan]

Original geschrieben von TobiaZ
Also was mir auf die Schnell auffällt:

link_keyword1,2,3 ... d,e,f würde ich mal verteufeln. Kann eigentlich nicht gewollt sein.
Dann fallen mir beim drüberfliegen viele Tabellen ganz ohne Key auf, einige ohne primary-key

Ne ne, der hatte nur Angst, dass der Server diesmal total abraucht.

sag jetzt nicht, dass es so ein spassvogel gab und so ein file hochgeladen hat. *grins*

es hat einen bestimmten grund, warum link_keywordX.
Es werden alle Wörter im Keyword Tabelle gespeichert. Die Tabellen link_keywordX sind sogenannten Verlinkungstabellen zwischen Keyword, Domain und Hyperlink Tabelle.

Die Verlinkungstabellen ergeben gesamte Summe von über 90mio rows.
Das einige Tabellen ohne Key auskommt, ist auch gewollt. Da zum beispiel die Domaintabelle den Key nicht braucht.

[TobiaZ]

sag jetzt nicht, dass es so ein spassvogel gab und so ein file hochgeladen hat. *grins*

Nee, das verhindert das Forum automatisch, aber der Server hustet(e) in letzter Zeit trotzdem gewaltig.

Aber zurück zu deinem Problem. (Ist ja schön, dass wir auch noch mal was reinbekommen, was sich nicht über die Suche erledigen lässt...)

Leider ist es von Extern aber auch was schwer sich da reinzudenken (zumindest so nebenbei).

EDIT:

---

nee, war quatsch. Hatte was übersehen...

---

Naja, soll der ghostgambler sich mal angucken. Sehe da auf anhieb nicht mehr wirklich optimierungspotential, wobei mir natürlich auch die Abfragen unbekannt sind.

90mio ist aber auch wirklich ne menge...

[Entilan]

Nee, das verhindert das Forum automatisch, aber der Server hustet(e) in letzter Zeit trotzdem gewaltig.

Hehe.. jeder wird mal alt und gebrechig.

Aber zurück zu deinem Problem. (Ist ja schön, dass wir auch noch mal was reinbekommen, was sich nicht über die Suche erledigen lässt...)

Ich hab die Google gesucht und auch hier im Forum. Leider sind die Antworten für mich nicht ausreichend. Bevor ich weiter an meinem Spider entwickle, möchte ich wissen, ob der mysql den Datenstrom gewachsen ist, oder ich auf Oracle10 umsteige. Die Daten wurden innerhalb von 2 wochen befüllt.

EDIT:
nee, war quatsch. Hatte was übersehen...

Hmm? Was meinst du damit?

Naja, soll der ghostgambler sich mal angucken. Sehe da auf anhieb nicht mehr wirklich optimierungspotential, wobei mir natürlich auch die Abfragen unbekannt sind.

Jo, das mit der optimierung hab ich auch schon versucht und komme da nicht auf einem Nenner. Dann erhoffe ich mal auf das statment vom Gambler.

90mio ist aber auch wirklich ne menge...

Jep.. und tendenz sehr stark steigend. hab bereits wieder Platten gekauft.
Kaum vorstellbar, dass dies eigendlich nur einen Testlauf ist.


Achso, wollte noch anmerken, dass ich die Hilfe hier super finde. Fast so gut wie unser Helpdesk bei der AXA. *grins*

[TobiaZ]

Ui, das wird nen Spider? Ich hatte es für nen internes Verwaltungssystem gehalten... Wenn die Daten noch deutlich mehr werden, dann würde ich definitiv auf was "stärkeres" umsteigen. Oracle hört sich da für mich nicht so falsch an. Wo bei die Größe meine Kenntnisse übertrifft...

Was meinen Edit angeht, ich hatte ursprünglich noch ne Stelle gefunden, aber hatte ne "Kleinigkeit" übersehen. Mein Vorschlag war nämlich längst implementiert.