php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > PHP Developer Forum
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


PHP Developer Forum Hier habt ihr die Möglichkeit, eure Skriptprobleme mit anderen Anwendern zu diskutieren. Seid so fair und beantwortet auch Fragen von anderen Anwendern. Dieses Forum ist sowohl für ANFÄNGER als auch für PHP-Profis! Fragen zu Laravel, YII oder anderen PHP-Frameworks.

Thema geschlossen
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 05-07-2011, 15:36
btec
 Registrierter Benutzer
Links : Onlinestatus : btec ist offline
Registriert seit: Jul 2011
Beiträge: 1
btec befindet sich auf einem aufstrebenden Ast
Question Verarbeiten von 800.000 Dateien

Hallo zusammen,

vorab: ich bin nicht auf der Suche nach einem fertigen Script,
sondern nur nach einem Lösungsansatz. Vielen Dank vorab.

Ich versuche ein Rechnungsarchiv zu verwalten, in welchem sich
derzeit ungefähr 800.000 Dateien befinden. Dieses Archiv wird täglich
weiter befüllt und die Dateien innerhalb dieses Archivs dürfen nicht
verändert, verschoben, umbenannt etc. werden, da das Warenwirtschafts-
System diese Dateien sonst nicht mehr findet und/oder akzeptiert.

Die Namensgebung der Dateien erfolgt (leider) per Zufallsgenerator.
Zudem ist das Datum der Datei nicht ausschlaggebend, da die Dateien
bei Nachkalkulationen gelöscht und neu erstellt werden können.
Der Datei-Name bleibt in diesem Fall aber erhalten.

Ich will aber diese Dateien auswerten und deren Inhalt sowie
Auswertung in einer SQL Datenbank abspeichern. Somit muss
ich irgendwie diese Dateien "markieren" als verarbeitet damit
das Script (Cronjob, der immer 1000 Dateien auswertet) beim
nächsten Lauf diese Dateien überspringt.

Meine Ideen scheitern leider an der Menge der Dateien.

Wie würdet ihr an eine solche Datenmenge herangehen?

Danke im Voraus

Gruß
btec
  #2 (permalink)  
Alt 05-07-2011, 16:20
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

Hallo,

ich würde das Verzeichnis einlesen und in eine Datenbank schreiben. Dort kannst du dann neben einer eindeutigen ID und dem Dateinamen (unique key) auch das Rechnungsdatum, Absender, Empfänger u. s. w. verwalten.

Die eigentliche Frage ist aber die: Sollte das WWS nicht geeignete Auswertungen mitbringen oder wenigstens eine Schnittstelle zum Zugriff darauf anbieten? Ich würde vorsichtshalber nochmal ins Handbuch des WWS gucken.

Gruß,

Amica
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!
  #3 (permalink)  
Alt 05-07-2011, 16:24
mainclain
 Registrierter Benutzer
Links : Onlinestatus : mainclain ist offline
Registriert seit: Dec 2006
Beiträge: 58
mainclain ist zur Zeit noch ein unbeschriebenes Blatt
mainclain eine Nachricht über ICQ schicken
Standard

Warum an der Menge der Dateien?

Kannst doch einfach eine Datenbanktabelle machen, wo schon bearbeitete Datein drin stehen.
Dort speicherst du also nur den Namen + eventuell nen timestamp ab.

Diese überspringst du beim nächsten durchlauf.

Dann siehst du dir an, wieviele Datein du ungefähr in einem PHP-Script durchlauf durchbekommst. Solltest dich da ein wenig zurückhalten, wie ich finde, sodass ein durchlauf Max. 5 Sekunden dauern darf (Von Standart glaube ich 30?).

Wieviel Dateien du in einem Durchlauf schaffst, musst du mal austesten^^.
Danach läd er eine Seite, die, je nach dem z.B. über JS eine weiterleitung und einen Link hat. Nach x Sekunden läd er also die Seite neu. Diesmal werden die nächste X Datein abgearbeitet, bis das Script durch ist.


Edit: Ups hab das mit dem Cronjob überlesen. Naja aber da versteh ich ehrlich gesagt, noch weniger das Problem, da du doch eh mit Datenbank arbeitest?^^
  #4 (permalink)  
Alt 05-07-2011, 16:42
h3ll
 Registrierter Benutzer
Links : Onlinestatus : h3ll ist offline
Registriert seit: Mar 2008
Beiträge: 3.593
h3ll befindet sich auf einem aufstrebenden Ast
Standard

Verarbeiten von 800.000 Dateien - PHP Forum: phpforum.de
Thema geschlossen

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
Auslesen und verarbeiten von Text Dateien pjoern PHP Developer Forum 4 18-01-2011 17:18
XML verarbeiten DSitC XML 1 01-03-2010 16:05
Bestellliste verarbeiten lightdisc PHP Developer Forum 11 10-09-2006 15:01
PDF Dateien auf Server mittels PDFTK verarbeiten. Knochi PHP Developer Forum 4 17-10-2005 16:30
query verarbeiten mister_x1 PHP Developer Forum 13 08-07-2003 17:17

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

ADSMAN V3 - Werbe-Manager ansehen ADSMAN V3 - Werbe-Manager

ADSMAN V3 - mehr als nur ein Bannermanager! Banner, Textanzeigen und PagePeel Manager! Mit ADSMAN PRO haben Sie die Marketinglösung für eine effektive und effiziente Werbeschaltung mit messbaren Ergebnissen. Unterstützt werden Bannerformate in beliebi

25.10.2018 virtualsystem | Kategorie: PHP/ Bannerverwaltung
PHP News und Artikel Script V2

News schreiben, verwalten, veröffentlichen. Dies ist jetzt mit dem neuen PHP News & Artikel System von virtualsystem.de noch einfacher. Die integrierte Multi-User-Funktion und der WYSIWYG-Editor (MS-Office ähnliche Bedienung) ermöglichen...

25.10.2018 virtualsystem | Kategorie: PHP/ News
Top-Side Guestbook

Gästebuch auf Textbasis (kein MySQL nötig) mit Smilies, Ip Sperre (Zeit selbst einstellbar), Spamschutz, Captcha (Code-Eingabe), BB-Code, Hitcounter, Löschfunktion, Editierfunktion, Kommentarfunktion, Kürzung langer Wörter, Seiten- bzw. Blätterfunktion, V

22.10.2018 webmaster10 | Kategorie: PHP/ Gaestebuch
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 08:35 Uhr.