robots.txt class

Give this class the contents of a robots.txt file or the URL to it and it will parse it for you. As an option you can give it the name or your robot/spider/crawler and it will return only the section that applies to your case. Works through proxies with the help of Snoopy (see script for more details).

Rezensionen

Es sind noch keine Kommentare vorhanden.

Hier Kannst Du einen Kommentar verfassen


Bitte gib mindestens 10 Zeichen ein.
Wird geladen... Bitte warte.
* Pflichtangabe
ANG GES G P
Class to enable search/replace of files. Can perform the search over one file, multiple files, entire directories with/without subdirectories. Ca ...
ANG GES G P
Class that connects to a FTP server to work with files and directores. It features: - connect to ftp server - change current working dir - ...
ANG GES G P
Beautifier highlights and indents source code using highlight configuration files (which are similar to Ultraedit highlighting files). As such, it ...
ANG GES G P
Eine PHP FTP Klasse ist sinnvoll, der Vorteil ist sicher das der FTP-Account einen Cage bildet, durch Manipulation, meinetwegen URI-Manipulation, ...
ANG GES G P
Simple class to translate strings into UTF-8 from your favorite charset.
ANG GES G P
Yet another directory list class
ANG GES G P
A rule based system for taking data associated with a database result id and pushing through specified templates. Allows for significant reuse o ...
ANG GES G P
Mit dieser Klasse ist die komfortable Ansteuerung von Oracle Datenbanken ab Version 8i aufwärts möglich. Die Klasse läuft unter PHP4 und PHP5 u ...
779 x angesehen
0 x gemerkt
Details zur Anzeige
ANG GES G P
Anfrage stellen

Du bist nicht als Benutzer angemeldet. Bitte gebe Deinen Namen und E-Mailadresse an!

Wird geladen... Bitte warte.
Details zur Anbieter

toon.goedhart@