robots.txt class

Give this class the contents of a robots.txt file or the URL to it and it will parse it for you. As an option you can give it the name or your robot/spider/crawler and it will return only the section that applies to your case. Works through proxies with the help of Snoopy (see script for more details).

Rezensionen

Es sind noch keine Kommentare vorhanden.

Hier Kannst Du einen Kommentar verfassen


Bitte gib mindestens 10 Zeichen ein.
Wird geladen... Bitte warte.
* Pflichtangabe
ANG GES G P
This class can generate pie chart graphics from arrays of values for each slice of the pie. You can customize the colors and the size of the chart ...
ANG GES G P
Object manipulation routine.
ANG GES G P
A collection of classes and resources to process XML using PHP
ANG GES G P
Diese Zip-Klasse verpackt rekursiv Ordner und entpackt diese auch rekursiv. Die Zip-Klasse beinhaltet einen Dateifilter, dieser kann mit Blacklis ...
ANG GES G P
Es kann die Differenz des 1. zum 2. Wert (egal ob nach oben oder nach unten) in prozentualer Entwicklung oder absolut ausgegeben werden.Auf der We ...
ANG GES G P
GeoClass.php stellt ein Set von Klassen bereit, um geografische Daten zu verarbeiten. So können GeoObjekte angelegt werden, zwischen denen dann z ...
ANG GES G P
- Freeware - Counterklasse - speichert IP, OS ,Browser und Besuchszeit in der MySQL - Datenbank - Reloadsperre über IP - Ermittlung der User ...
ANG GES G P
This is a class to simplify the listing of classes and allows for commandline-like wildcards (i.e. '*.txt'). The class currently returns arrays ...
685 x angesehen
0 x gemerkt
Details zur Anzeige
ANG GES G P
Anfrage stellen

Du bist nicht als Benutzer angemeldet. Bitte gebe Deinen Namen und E-Mailadresse an!

Wird geladen... Bitte warte.
Details zur Anbieter

toon.goedhart@