robots.txt class

Give this class the contents of a robots.txt file or the URL to it and it will parse it for you. As an option you can give it the name or your robot/spider/crawler and it will return only the section that applies to your case. Works through proxies with the help of Snoopy (see script for more details).

Rezensionen

Es sind noch keine Kommentare vorhanden.

Hier Kannst Du einen Kommentar verfassen


Bitte gib mindestens 10 Zeichen ein.
Wird geladen... Bitte warte.
* Pflichtangabe
ANG GES G P
Sehr einfache Datenbank-Klasse. Einfaches umstellen auf unterschiedliche Datenbanken. Diese Klasse ermöglicht einen Zugriff auf folgende Datenban ...
ANG GES G P
FXL Template ist ein einfach zu bedienendes PHP Template System. Es unterstützt Textersetzungen, schnelle Array Ersetzungen, Blöcke und vers ...
ANG GES G P
- sehr einfache Klasse - verschlüsselt und entschlüsselt Zeichenketten - Freeware
ANG GES G P
Class that connects to a FTP server to work with files and directores. It features: - connect to ftp server - change current working dir - ...
ANG GES G P
A "better" CountryList class. Supports German, English and Frensh ISO 3166 Country Codes and Names.
ANG GES G P
phpdl-server.health.class.php bietet Euch und Eurem Server die Möglichkeit, Serverdienste (apache,mysql u.s.w.) restarten zu lassen. Ihr konfig ...
ANG GES G P
Allow send POST headers to any sites, icq, boards, and other...
ANG GES G P
Compile many classes into one class. This class get around the limited class extension that PHP offers. IE class A extends classb, classc etc is ...
691 x angesehen
0 x gemerkt
Details zur Anzeige
ANG GES G P
Anfrage stellen

Du bist nicht als Benutzer angemeldet. Bitte gebe Deinen Namen und E-Mailadresse an!

Wird geladen... Bitte warte.
Details zur Anbieter

toon.goedhart@