Performance große Datenmengen

Liebes Forum,

ich beziehe über einen Webservice große Datenmengen. Es handelt sich pro Datenabfrage um einige tausende Zeilen mit jeweils 10-15 Werten. Diese Daten sind dynamisch, sodaß für jede Anforderung immer wieder der Webservice angefragt werden muß.

Es kommen täglich mehrere Tausend Abfragen zustande. Nun meine Frage.

Wie kann man die großen Datenmengen zwischenspeichern?

- Session?
- MySql Datenbank?
- Sqlite Datenbank?

Was meint Ihr eignet sich am besten dafür, um ein Maximum an Performance zu gewährleisten?

Danke für Eure Hilfe und Eure Ideen.

Viele Grüße
RON

Zitat von rlebek

Diese Daten sind dynamisch, sodaß für jede Anforderung immer wieder der Webservice angefragt werden muß.

Wozu dann cachen?

Naja, zwecks Weiterverarbeitung, Sortierung, Paging usw.

Ich möchte ja nicht alle Daten auf einmal darstellen und unnötige Abfragen an den Webservice vermeiden.

memcache

Vielen Dank. Hast Du Erfahrung in Bezug auf Performance und so??

Werden die Daten auf dem Server gespeichert oder im Memory??

Die Daten werden im Hauptspeicher gehalten - daher der Name MEMcache.
Damit ist zur Performance auch schon alles gesagt, denn die von dir genannten Alternativen schreiben die Daten irgendwann auch mal auf die Festplatte bzw. laden sie von dort. Das dauert um einige Zehnerpotenzen länger. Mit SSD und/oder geeigneten Cache-Settings könnte man das zwar reduzieren, aber selbst im Best Case sind plattenbasierte Speicher niemals schneller als speicherbasierte.
Es kann für deinen Bedarf (zig MB) auch keinen schnelleren Cache geben, denn der müsste die Daten in einem L-Cache (L1 bis L3) halten und die sind alle zu klein.

Memcache ist sehr einfach zu installieren und zu benutzen, siehe PHP: Memcache - Manual.

@onemorenerd
Habe memcached jetzt installiert und nach ersten Tests funktioniert es wirklich prima. Herzlichen Dank für Deine Hilfe und ein weltmeisterliches Wochenende.
RON