robots.txt class

Give this class the contents of a robots.txt file or the URL to it and it will parse it for you. As an option you can give it the name or your robot/spider/crawler and it will return only the section that applies to your case. Works through proxies with the help of Snoopy (see script for more details).

Reviews

There are no comments available yet.

Here you can write a comment


Please enter at least 10 characters.
Loading... Please wait.
* Pflichtangabe
ANG GES G P
Simple class that is useful to hold mysql database link information.
ANG GES G P
This class allows one to easily query the whois database and returns the information for a specific domain name. It also automatically retrieves t ...
ANG GES G P
Die Nested Set Klasse bearbeitet Nested Set Bäume die in einer MySQL-DB gespeichert werden. Diese Funktionen kann die Klasse ausführen: Knoten ...
ANG GES G P
This is a class to simplify the listing of classes and allows for commandline-like wildcards (i.e. '*.txt'). The class currently returns arrays ...
ANG GES G P
Diese Zip-Klasse verpackt rekursiv Ordner und entpackt diese auch rekursiv. Die Zip-Klasse beinhaltet einen Dateifilter, dieser kann mit Blacklis ...
ANG GES G P
hdYouTube ist ein auf PHP basierendes Skript, mit dem man aus einem HTML Formular ein Video in seinen YouTube Account laden kann. So kann man z.B. ...
ANG GES G P
Bei cphplib handelt es sich um eine Sammlung von PHP Funktionen. Diese können einfach in bestehende PHP-Scripte eingebunden und sofort genutzt we ...
ANG GES G P
GeoClass.php stellt ein Set von Klassen bereit, um geografische Daten zu verarbeiten. So können GeoObjekte angelegt werden, zwischen denen dann z ...
1095 x viewed
0 x memorized
Details to the advertisement
ANG GES G P
Make a request

You are no longer logged in as a user. Please enter your name and your E-mail-adress!

Loading... Please wait.
Details to the seller

toon.goedhart@