robots.txt class

Give this class the contents of a robots.txt file or the URL to it and it will parse it for you. As an option you can give it the name or your robot/spider/crawler and it will return only the section that applies to your case. Works through proxies with the help of Snoopy (see script for more details).

Rezensionen

Es sind noch keine Kommentare vorhanden.

Hier Kannst Du einen Kommentar verfassen


Bitte gib mindestens 10 Zeichen ein.
Wird geladen... Bitte warte.
* Pflichtangabe
ANG GES G P
phpdl-server.health.class.php bietet Euch und Eurem Server die Möglichkeit, Serverdienste (apache,mysql u.s.w.) restarten zu lassen. Ihr konfig ...
ANG GES G P
Very Simple Template allows you to dissociate very simply HTML code from PHP code. A programer will easily rewrite an HTML project done by a grap ...
ANG GES G P
Class for comfortable read and write ini-files. This class provides functionality for reading ini-file from harddisk, editing it's elements (eas ...
ANG GES G P
Class to support MySQL sessions with many servers
ANG GES G P
html table builder is written in and for php4 and allows you to dynamically create html tables within your php code. some of the features are... ...
ANG GES G P
Die PHP-interne Funktion parse_url reicht nicht immer aus, um URLs bzw. URIs korrekt in ihre Komponenten zu zerlegen, wie sich u.a. im PHP- ...
ANG GES G P
SteamInfo: Steam-Server Informationen abfragen. Mit SteamInfo lassen sich simpel Informationen über einen Steam-Gameserver erfragen. Dab ...
811 x angesehen
0 x gemerkt
Details zur Anzeige
ANG GES G P
Anfrage stellen

Du bist nicht als Benutzer angemeldet. Bitte gebe Deinen Namen und E-Mailadresse an!

Wird geladen... Bitte warte.
Details zur Anbieter

toon.goedhart@