php-resource



Zurück   PHP-Scripte PHP-Tutorials PHP-Jobs und vieles mehr > Scripts > Apps und PHP Script Gesuche
 

Login

 
eingeloggt bleiben
star Jetzt registrieren   star Passwort vergessen
 

 

 


Apps und PHP Script Gesuche Hier könnt ihr nach PHP Skripten und Programmen fragen. Postet eure Wünsche

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1 (permalink)  
Alt 21-03-2010, 18:43
JR-EWING
 Registrierter Benutzer
Links : Onlinestatus : JR-EWING ist offline
Registriert seit: Jul 2004
Ort: Kissing
Beiträge: 99
JR-EWING befindet sich auf einem aufstrebenden Ast
Standard Spider Script

Hallo Gemeinde,

ich bin auf der Suche nach einem Script um eine Kundenseite zu crawlen. Diese hat mehr als 100 000 Seiten im Google Index. Die Seite hat jedoch viel mehr - jedoch werden diese per robots.txt ausgeschlossen.

Disallow /*/is-bin/

Ich hab schon mit PHPCrawl_070 experimentiert. Allerdings bricht er bei mir bei ca. 2000 Seiten ab ohne Fehlermeldung und beachtet leider die oben gepostete Regel aus der Robots nicht.

Was ich nun bräuchte ist ein Spider Script das mit also unter Beachtung der robots.txt die einzelne Webseite spidert.

Genial wäre es auch wenn das Script folgendes kann:

1. Beachten der Robots.txt
2. Links mit rel=nofollow werden nicht verfolgt
3. Seiten mit Meta Angabe noindex werden ausgelassen

Ausgabe URLs ähnlich einer Sitemap

Set Time Limit ist bei mir = 0
Memory Limit auf 2GB

Die meisten Script die ich so gefunden habe, halten sich leider nicht an die tobots.txt - z.B. Snoopy

Vielleicht kennt jemand ein gutes Script dass man vielleicht noch anpassen kann.

Gruß Tom
__________________
Spambot Falle
Wem das Wasser bis zum Hals steht, sollte nicht den Kopf hängen lassen.
Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
Spider Suchmaschine mit MySQL und PHP Script installieren JOByetiDE PHP Developer Forum 2 09-12-2007 00:26
Auftrag: Suchmaschinen + Spider Script gegen Bezahlung gesucht web800 Jobgesuche 1 27-05-2006 22:06
spider script redman2600 Apps und PHP Script Gesuche 5 06-09-2004 14:07
Suche Script zur erfassung der spider besuche un4less Apps und PHP Script Gesuche 5 16-01-2004 16:22
Spider gesucht MrFreeze PHP Developer Forum 1 08-08-2002 05:15

Themen-Optionen
Thema bewerten
Thema bewerten:

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are an


PHP News

ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlicht
ebiz-trader 7.5.0 mit PHP7 Unterstützung veröffentlichtDie bekannte Marktplatzsoftware ebiz-trader ist in der Version 7.5.0 veröffentlicht worden.

28.05.2018 | Berni

Wissensbestand in Unternehmen
Wissensbestand in UnternehmenLebenslanges Lernen und Weiterbilden sichert Wissensbestand in Unternehmen

25.05.2018 | Berni


 

Aktuelle PHP Scripte

ADSMAN V3 - Werbe-Manager ansehen ADSMAN V3 - Werbe-Manager

ADSMAN V3 - mehr als nur ein Bannermanager! Banner, Textanzeigen und PagePeel Manager! Mit ADSMAN PRO haben Sie die Marketinglösung für eine effektive und effiziente Werbeschaltung mit messbaren Ergebnissen. Unterstützt werden Bannerformate in beliebi

25.10.2018 virtualsystem | Kategorie: PHP/ Bannerverwaltung
PHP News und Artikel Script V2

News schreiben, verwalten, veröffentlichen. Dies ist jetzt mit dem neuen PHP News & Artikel System von virtualsystem.de noch einfacher. Die integrierte Multi-User-Funktion und der WYSIWYG-Editor (MS-Office ähnliche Bedienung) ermöglichen...

25.10.2018 virtualsystem | Kategorie: PHP/ News
Top-Side Guestbook

Gästebuch auf Textbasis (kein MySQL nötig) mit Smilies, Ip Sperre (Zeit selbst einstellbar), Spamschutz, Captcha (Code-Eingabe), BB-Code, Hitcounter, Löschfunktion, Editierfunktion, Kommentarfunktion, Kürzung langer Wörter, Seiten- bzw. Blätterfunktion, V

22.10.2018 webmaster10 | Kategorie: PHP/ Gaestebuch
 Alle PHP Scripte anzeigen

Alle Zeitangaben in WEZ +2. Es ist jetzt 20:58 Uhr.