php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Entwicklung > PHP Developer Forum
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


PHP Developer Forum Hier habt ihr die Möglichkeit, eure Skriptprobleme mit anderen Anwendern zu diskutieren. Seid so fair und beantwortet auch Fragen von anderen Anwendern. Dieses Forum ist sowohl für ANFÄNGER als auch für PHP-Profis! Fragen zu Laravel, YII oder anderen PHP-Frameworks.

Thema geschlossen
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 05-07-2011, 14:36
btec
 Registrierter Benutzer
Links : Onlinestatus : btec ist offline
Registriert seit: Jul 2011
Beiträge: 1
btec befindet sich auf einem aufstrebenden Ast
Question Verarbeiten von 800.000 Dateien

Hallo zusammen,

vorab: ich bin nicht auf der Suche nach einem fertigen Script,
sondern nur nach einem Lösungsansatz. Vielen Dank vorab.

Ich versuche ein Rechnungsarchiv zu verwalten, in welchem sich
derzeit ungefähr 800.000 Dateien befinden. Dieses Archiv wird täglich
weiter befüllt und die Dateien innerhalb dieses Archivs dürfen nicht
verändert, verschoben, umbenannt etc. werden, da das Warenwirtschafts-
System diese Dateien sonst nicht mehr findet und/oder akzeptiert.

Die Namensgebung der Dateien erfolgt (leider) per Zufallsgenerator.
Zudem ist das Datum der Datei nicht ausschlaggebend, da die Dateien
bei Nachkalkulationen gelöscht und neu erstellt werden können.
Der Datei-Name bleibt in diesem Fall aber erhalten.

Ich will aber diese Dateien auswerten und deren Inhalt sowie
Auswertung in einer SQL Datenbank abspeichern. Somit muss
ich irgendwie diese Dateien "markieren" als verarbeitet damit
das Script (Cronjob, der immer 1000 Dateien auswertet) beim
nächsten Lauf diese Dateien überspringt.

Meine Ideen scheitern leider an der Menge der Dateien.

Wie würdet ihr an eine solche Datenmenge herangehen?

Danke im Voraus

Gruß
btec
  #2 (permalink)  
Alt 05-07-2011, 15:20
AmicaNoctis
  Moderatorin
Links : Onlinestatus : AmicaNoctis ist offline
Registriert seit: Jul 2009
Beiträge: 5.709
Blog-Einträge: 9
AmicaNoctis sorgt für eine eindrucksvolle AtmosphäreAmicaNoctis sorgt für eine eindrucksvolle Atmosphäre
Standard

Hallo,

ich würde das Verzeichnis einlesen und in eine Datenbank schreiben. Dort kannst du dann neben einer eindeutigen ID und dem Dateinamen (unique key) auch das Rechnungsdatum, Absender, Empfänger u. s. w. verwalten.

Die eigentliche Frage ist aber die: Sollte das WWS nicht geeignete Auswertungen mitbringen oder wenigstens eine Schnittstelle zum Zugriff darauf anbieten? Ich würde vorsichtshalber nochmal ins Handbuch des WWS gucken.

Gruß,

Amica
__________________
Hast du die Grundlagen zur Fehlersuche gelesen? Hast du Code-Tags benutzt?
Hast du als URL oder Domain-Beispiele example.com, example.net oder example.org benutzt?
Super, danke!
  #3 (permalink)  
Alt 05-07-2011, 15:24
mainclain
 Registrierter Benutzer
Links : Onlinestatus : mainclain ist offline
Registriert seit: Dec 2006
Beiträge: 58
mainclain ist zur Zeit noch ein unbeschriebenes Blatt
mainclain eine Nachricht über ICQ schicken
Standard

Warum an der Menge der Dateien?

Kannst doch einfach eine Datenbanktabelle machen, wo schon bearbeitete Datein drin stehen.
Dort speicherst du also nur den Namen + eventuell nen timestamp ab.

Diese überspringst du beim nächsten durchlauf.

Dann siehst du dir an, wieviele Datein du ungefähr in einem PHP-Script durchlauf durchbekommst. Solltest dich da ein wenig zurückhalten, wie ich finde, sodass ein durchlauf Max. 5 Sekunden dauern darf (Von Standart glaube ich 30?).

Wieviel Dateien du in einem Durchlauf schaffst, musst du mal austesten^^.
Danach läd er eine Seite, die, je nach dem z.B. über JS eine weiterleitung und einen Link hat. Nach x Sekunden läd er also die Seite neu. Diesmal werden die nächste X Datein abgearbeitet, bis das Script durch ist.


Edit: Ups hab das mit dem Cronjob überlesen. Naja aber da versteh ich ehrlich gesagt, noch weniger das Problem, da du doch eh mit Datenbank arbeitest?^^
  #4 (permalink)  
Alt 05-07-2011, 15:42
h3ll
 Registrierter Benutzer
Links : Onlinestatus : h3ll ist offline
Registriert seit: Mar 2008
Beiträge: 3.650
h3ll befindet sich auf einem aufstrebenden Ast
Standard

Verarbeiten von 800.000 Dateien - PHP Forum: phpforum.de
Thema geschlossen

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
Auslesen und verarbeiten von Text Dateien pjoern PHP Developer Forum 4 18-01-2011 16:18
XML verarbeiten DSitC XML 1 01-03-2010 15:05
Bestellliste verarbeiten lightdisc PHP Developer Forum 11 10-09-2006 14:01
PDF Dateien auf Server mittels PDFTK verarbeiten. Knochi PHP Developer Forum 4 17-10-2005 15:30
query verarbeiten mister_x1 PHP Developer Forum 13 08-07-2003 16:17

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

Die RIGID-FLEX-Technologie
Die RIGID-FLEX-TechnologieDie sogenannte "Flexible Elektronik" , oftmals auch als "Flexible Schaltungen" bezeichnet, ist eine zeitgemäße Technologie zum Montieren von elektronischen Schaltungen.

06.12.2018 | Berni

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni


 

Aktuelle PHP Scripte

myExplorer

explorer-ähnliche Darstellung von Verzeichnisinhalten. Ideal für Downloadordner. Möglichkeit Filter zu definieren um nur bestimmte Dateien/Ordner darzustellen. Sehr leicht einzubinden.

16.07.2019 bmitt | Kategorie: PHP/ File
WebAudio Player

Dieser Music-Player demonstriert, was mit der WebAudio-API so alles möglich ist. Er ist dazu gedacht, dass ihr euren Besuchern Musik auf der eigenen Homepage anbieten könnt.

16.07.2019 numaek | Kategorie: JAVASCRIPT/ sonstig
Plates native PHP template system

Plates ist ein natives PHP-Vorlagensystem, das schnell, einfach zu verwenden und einfach zu erweitern ist.

24.05.2019 Berni | Kategorie: PHP/ Framework
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 18:11 Uhr.