php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Scripts > BRAINSTORMING PHP/SQL/HTML/JS/CSS
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


BRAINSTORMING PHP/SQL/HTML/JS/CSS Ihr habt eine Idee, aber keinen genauen Ansatz? Diskutiert mit anderen Usern des Forums über eure Gedankengänge um evtl. hilfreiche Ideen zu bekommen!
Normale Fragen bitte weiterhin in die entsprechenden Foren!

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 17-09-2008, 23:57
schnikemike
 Newbie
Links : Onlinestatus : schnikemike ist offline
Registriert seit: May 2005
Beiträge: 86
schnikemike ist zur Zeit noch ein unbeschriebenes Blatt
Standard CSV Datei Serverschonen in Datenbank auslesen

Ich dachte mir das es wohl das schonendste sein dürfe dies über Ajax zu machen!?

Was denk ihr?

Vorweg nein über MYPHP Admin ist keine Lösung, da es automatisiert passieren muss!


Sinn und zweck ist es jeden 2-3 Tag eine etwa 100 MB grosse CSV zu downloaden (als zip) und in eine Mysql Datenbank zu übertragen Upzudaten

Lange Rede kurze Sinn.

Ich will hier keine fertigen Lösungen sonder ansätze wie man das Serverschonend Lösen kann.

Herausuchen kann ich mir die Funktione auch, nur bin ich bisher nur auf Lösungen gekommen die den Server enorm belasten.

THX für eure Hilfe.
Mit Zitat antworten
  #2 (permalink)  
Alt 18-09-2008, 00:09
XGremliN
 PHP Senior
Links : Onlinestatus : XGremliN ist offline
Registriert seit: Sep 2003
Ort: Karl-Marx-Stadt
Beiträge: 1.900
XGremliN ist zur Zeit noch ein unbeschriebenes Blatt
Standard

über nen cronjob nachts laufen lassen, wenn wenig last auf dem server ist
__________________
it's not a bug,
it's a feature!
Mit Zitat antworten
  #3 (permalink)  
Alt 18-09-2008, 00:45
schnikemike
 Newbie
Links : Onlinestatus : schnikemike ist offline
Registriert seit: May 2005
Beiträge: 86
schnikemike ist zur Zeit noch ein unbeschriebenes Blatt
Standard

die update laufen eh nachts übern cronjob.


Mir geht es vielmehr darum die Routine so laufen zu lassen das, dass update zwar länger dauert aber den server nicht belastet.
Also sozusagen ein limit einzubauen.

Da ist mir nur noch nichts eingefallen.


Hier ist ein ganz guter Ansatz:
Der aber leider eben den Server bei grossen Dateien ziemlich belastet.

http://www.abakus-internet-marketing...c/t-36300.html

PHP-Code:
$trenner ";";
$datei fopen($dateiname,"r");
$db mysql_connect("localhost",trim($dbuser),trim($dbpass)) or die ("Verbindung zur Datenbank nicht möglich");
mysql_select_db(trim($datenbank));

$test mysql_list_fields(trim($datenbank), trim($dbtabelle));
$spalten mysql_num_fields($test);

while(!
feof($datei)){
$zeile fgets($datei,4000);
$daten explode($trenner,$zeile);


$dbquery1 "INSERT INTO ".$dbtabelle." VALUES (";
$dbquery2 "";
$dbquery3 ")";
for (
$i 0;$i $spalten;$i++){
$daten1 str_replace(',','.',$daten[$i]); // Kommas durch Punkte ersetzen
$dbquery2 $dbquery2."'".chop($daten1)."', ";
 
}
$dbquery2 substr($dbquery2,0,-2);
echo 
$dbquery1.$dbquery2.$dbquery3.$dbquery4 "<br>";
$dbq mysql_query($dbquery1.$dbquery2.$dbquery3);

Mit Zitat antworten
  #4 (permalink)  
Alt 18-09-2008, 08:15
unset
  Moderator
Links : Onlinestatus : unset ist offline
Registriert seit: Jan 2007
Ort: Düsseldorf
Beiträge: 3.782
unset befindet sich auf einem aufstrebenden Ast
Standard

zum einen frage ich mich, wiese die csv datei so groß ist. Aber ok, da kannst du ja nichts für.

Ansonsten mach dich mal darüber schlau, dass man in einen query auch mehrere datensätze inserten kann. Darüberhinaus kannst du zwischendurch auch immer mal ein sleep einbauen.
Mit Zitat antworten
  #5 (permalink)  
Alt 18-09-2008, 12:21
TobiaZ
  Moderator
Links : Onlinestatus : TobiaZ ist offline
Registriert seit: Jan 2001
Ort: MUC und MGL, Germany
Beiträge: 34.421
Blog-Einträge: 1
TobiaZ befindet sich auf einem aufstrebenden Ast
Standard

Nur der Vollständigkeit halber, weil du direkt im ersten Satz AJAX erwähnst:

Für jeden Pup nen neuen Request zu machen, ist natürlich NICHT serverschonend. ,)
__________________
ERST LESEN: Unsere Regeln. | Ich hab schon Pferde kotzen sehn!

READ THIS: Strings richtig trennen/verbinden | JOINs, das leidige Thema | Wegwerf E-Mail Adressen

Ich werde keinen privaten 1:1 Support leisten, außer ich biete ihn ausdrücklich an.

Wenn man sich selbst als "Noob" bezeichnet, sollte man die Finger davon lassen.
Wenn man gewillt ist daran etwas zu ändern, lernt man Grundlagen!
Mit Zitat antworten
  #6 (permalink)  
Alt 18-09-2008, 13:07
schnikemike
 Newbie
Links : Onlinestatus : schnikemike ist offline
Registriert seit: May 2005
Beiträge: 86
schnikemike ist zur Zeit noch ein unbeschriebenes Blatt
Standard

THX Das Sleep!

Klingt Erfolgsversprechend!
Mit Zitat antworten
  #7 (permalink)  
Alt 18-09-2008, 16:40
Payne_of_Death
 Master
Links : Onlinestatus : Payne_of_Death ist offline
Registriert seit: Dec 2002
Ort: Folterkeller Nr. 18
Beiträge: 2.953
Payne_of_Death ist zur Zeit noch ein unbeschriebenes Blatt
Payne_of_Death eine Nachricht über ICQ schicken Payne_of_Death eine Nachricht über AIM schicken Payne_of_Death eine Nachricht über Yahoo! schicken
Standard

Ajax ist generell eh nicht serverschonend....

Nur weil man bei der Eingabe gleich servertechnisch prüfen kann ob der Benutzername o.Ä. vergeben wurde, muss man das noch lange nicht tun.

Wegen jedem Quatsch gleich den Server zu nötigen halte ich nicht für sinnig....

Man kann zu 2/3 auf Ajax verzichten

BTW: Persönlich noch nie verwendet aber soweit ich weiss ist
LOAD DATA INFILE die schnellste Möglichkeit eine Textdatei in eine Table einzulesen... Weiss allerdings im Moment nicht wie hoch der Aufwand dafür ist...da die File bestimmt auch bestimmten einheitlichen Konventionen unterworfen werden müsste

Ansonsten musst du wie bereits erwähnt ein Insert Statement bauen wo du sämtliche Daten via values(),(),().... reinschiebst
__________________
MfG Payne_of_Death

Manual(s): <-| PHP | MySQL | SELFHTML |->
Merke:
Du brauchst das Rad nicht neu erfinden ! <-ForumSuche rettet Leben-> || <-Schau in den Codeschnippsels->

Murphy`s Importanst LAWS
Jede Lösung bringt nur neue Probleme
Das Fluchen ist die einzige Sprache, die jeder Programmierer beherrscht.
In jedem kleinen Problem steckt ein großes, das gern raus moechte.

Geändert von Payne_of_Death (18-09-2008 um 16:56 Uhr)
Mit Zitat antworten
  #8 (permalink)  
Alt 18-09-2008, 19:27
pekka
 PHP Master
Links : Onlinestatus : pekka ist offline
Registriert seit: Jun 2001
Ort: Köln
Beiträge: 6.608
pekka befindet sich auf einem aufstrebenden Ast
Standard

Hm.
Ist es denn so schlimm, wenn der Server nachts mal 5-10 Minuten unter Vollast läuft?
Ist das Last vermeiden wirklich nötig, oder soll der Provider keinen Streß machen?
Mit Zitat antworten
  #9 (permalink)  
Alt 18-09-2008, 22:32
unset
  Moderator
Links : Onlinestatus : unset ist offline
Registriert seit: Jan 2007
Ort: Düsseldorf
Beiträge: 3.782
unset befindet sich auf einem aufstrebenden Ast
Standard

Jeder, der Dienste im Netz anbietet, hat ein Wartungsfenster. Sowas würde da rein fallen. Und ich kenne Unternehmen, die jede Nacht von 1-4 Wartungen vornehmen (könnten) ... das ist also nicht soo abwegig.

Aber: Wenn dein Service eine so hohe Erreichbarkeit braucht, dann frage ich mich, warum du nicht replizierst oder clusterst?! Und warum die Datenbank offensichtlich auf der selben Maschine rennt?!
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

PHP Server Monitor

PHP Server Monitor ist ein Skript, das prüft, ob Ihre Websites und Server betriebsbereit sind.

11.09.2018 Berni | Kategorie: PHP/ Security
PHP WEB STATISTIK ansehen PHP WEB STATISTIK

Die PHP Web Statistik bietet Ihnen ein einfach zu konfigurierendes Script zur Aufzeichnung und grafischen und textuellen Auswertung der Besuchern Ihrer Webseite. Folgende zeitlichen Module sind verfügbar: Jahr, Monat, Tag, Wochentag, Stunde Folgende son

28.08.2018 phpwebstat | Kategorie: PHP/ Counter
Affilinator - Affilinet XML Produktlisten Skript

Die Affilinator Affilinet XML Edition ist ein vollautomatisches Skript zum einlesen und darstellen der Affili.net (Partnerprogramm Netzwerk) Produktlisten und Produktdaten. Im Grunde gibt der Webmaster seine Affilinet PartnerID ein und hat dann unmittelb

27.08.2018 freefrank@ | Kategorie: PHP/ Partnerprogramme
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 00:10 Uhr.