PERL: CSV-Datei als Datenbank verwenden

Hallo Leute,

ich stehe vor folgendem Problem:

Meine Aufgabe ist es mit Perl eine Datenbank in Form einer CSV-Datei zu erstellen. Das Problem ist, dass die Datei bis zu 10000 Einträgen groß werden kann. Das bedeutet, dass ich nicht jedes Mal wenn ich auf der Suche nach einem Eintrag bin die komplette Datei durchforsten kann.
Wenn ich so im Internet rumgoogle, kommt man schnell auf Seiten die einem etwas von DBI::CSV erzählen, um damit SQL-Statements zu verwenden. Eigentlich genau das was ich suche.

Beim Versuch das zu Installieren bekomme ich jedes Mal eine Menge Fehler, so dass ich mir NICHT möglich ist die Module zu installieren.

Nun brauch ich eure Hilfe. Gibt es eine Möglichkeit,

1. so etwas, ohne zusätzliche Module installieren zu müssen, zu realisieren?

2. kann man die Module auch anders installieren als über die Kommandozeile? Zur Information: Ich benutze XAMPP und habe KEINE Adminrechte (Bevor jetzt einer kommt und sagt besorg sie dir eben: Sie sind beantragt, aber das dauert in meinem Laden eben 2 Wochen und so lange kann ich nicht warten)

Ich danke schon mal für die Hilfe!

Ohne die von die beschriebene Lösung zu kennen, frage ich mal neugierig, wie denn DBI::CSV an die Daten rankommt. Werden die irgendwo zwischengespeichert, indiziert, ...? Ansonsten müsste die Lösung ja auch die komplette Datei durchforsten.

Wenn du mir etwas über die Funktionsweise sagen kannst, könnte man vielleicht auch etwas vergleichbares finden.

Was dein Problem mit den Rechten angeht, ist natürlich eher schlecht. Ohne Recht gehts natürlich nicht. Das mittel ist dabei egal, das Problem sind ja die Rechte.

Kannst du nicht zum entwickeln nen eigenen Server nehmen. Dann kannst du in zwei Wochen immer noch umswitchen.

Musst du die Datensätze jeweils live suchen oder kannst du die auch zwischenspeichern? Anders gefragt: gibt es während du liest, einen anderen Prozess, der schreibt?

Amica

Ich habe es nun anders gelöst:

Für jede Zeite in der "Datenbank-Datei" einen individuellen Schlüssel und erzeuge aus dem "Zeilen-Array" einen Hash.

Wenn ich nun nach einem Eintrag suchen will, muss ich nur überprüfen ob die individuelle Schlüssel, den ich für den zu suchenden Eintrag erstellt habe, vorhanden ist.

Jetzt muss ich egal wie viele Elemente ich zu suchen habe, nur noch 2 Durchläufe machen

Sowas in der Art hätte ich dir auch vorgeschlagen, wenn keine anderen Schreibzugriffe stattfinden. Wenn du das ausschließen kannst, ist deine Variante gut, wenn nicht, bekommst du ein Integritätsproblem.

Edit: aber wieso brauchst du 2 Durchläufe?

Vermutlich einmal zum Hashen, oder?

Mein Vorschlag: Einmal durchgehen, um die benötigten Indizes zu erstellen, welche die Dateiposition gleich mit speichern. Danach wird nur noch ge-fseek-t. Bringt aber, wie gesagt, nur was, wenn die Datei in der Zeit nicht geändert wird.

Zitat von Tarlar

Meine Aufgabe ist es mit Perl eine Datenbank in Form einer CSV-Datei zu erstellen.

SQLite Home Page
Ist schneller und unterstützt ein brauchbares SQL-Subset.
Dafür gibts auch einen DBI-Treiber (der allerdings Binaries installiert).

Das Problem ist, dass die Datei bis zu 10000 Einträgen groß werden kann. Das bedeutet, dass ich nicht jedes Mal wenn ich auf der Suche nach einem Eintrag bin die komplette Datei durchforsten kann.
Wenn ich so im Internet rumgoogle, kommt man schnell auf Seiten die einem etwas von DBI::CSV erzählen, um damit SQL-Statements zu verwenden. Eigentlich genau das was ich suche.

Nein, suchst du nicht. Was glaubst du, auf welche Art DBD::CSV "Datenbank"-Queries durchführt?

Da wird, wenn es nötig ist, die gesamte CSV-(Text-)Datei durchsucht. Der Unterschied zum Selbersuchen ist der, dass du ein eingeschränktes SQL dafür benutzen darfst.

Schneller wird das nicht. IIRC wird lediglich im SQL-Parser wird ein wenig gecachet (der ist aber nicht Bestandteil des CSV-Moduls).

Beim Versuch das zu Installieren bekomme ich jedes Mal eine Menge Fehler, so dass ich mir NICHT möglich ist die Module zu installieren.

Schön, dass du uns diese Fehlermeldungen vorenthältst ...
So macht das Herumraten viel mehr Spaß.

2. kann man die Module auch anders installieren als über die Kommandozeile?

DBD::CSV besteht aus exakt zwei Dateien. Es müssen ein paar Verzeichnisse erstellt werden und diese zwei Dateien kopiert werden.

Dann bringst du dem Perl-Script, mit dem du arbeitest, bei, dass es DBI-Driver auch in diesen Unterverzeichnissen zu suchen hat. Das sollte genügen.

Zur Information: Ich benutze XAMPP und habe KEINE Adminrechte (Bevor jetzt einer kommt und sagt besorg sie dir eben: Sie sind beantragt, aber das dauert in meinem Laden eben 2 Wochen und so lange kann ich nicht warten)

XAMPP und Adminrechte beantragen? Arbeitet dein Perl auf einem Windows-Server?
(Dafür sollten sich fertige Pakete von ActiveState auftreiben lassen.)

Um ein paar Text-Dateien in ein Verzeichnis zu kopieren, benötigt man keine Adminrechte.