robots.txt class

Give this class the contents of a robots.txt file or the URL to it and it will parse it for you. As an option you can give it the name or your robot/spider/crawler and it will return only the section that applies to your case. Works through proxies with the help of Snoopy (see script for more details).

Rezensionen

Es sind noch keine Kommentare vorhanden.

Hier Kannst Du einen Kommentar verfassen


Bitte gib mindestens 10 Zeichen ein.
Wird geladen... Bitte warte.
* Pflichtangabe
ANG GES G P
Allow send POST headers to any sites, icq, boards, and other...
ANG GES G P
Creates a Search engine with switches to vary search and results return technique
ANG GES G P
If you believe that database abstraction is a good think, but you don't want to join the religous fights about the best one out there, then we hav ...
ANG GES G P
Diese Klasse unterstützt alle MySQL Datenbanken ab der V3.x aufwärts und läuft unter PHP4 und PHP5. Eine leicht erlernbare API sollte es auch A ...
ANG GES G P
First version of class for formatting of text (TTF) on images. Will allow you to more easily place ttfboxes on images.
ANG GES G P
This project includes some classes which are used to generate very simple MS Excel file (xls) via PHP. The generated xls file can be obtained by ...
ANG GES G P
fileupload.class extends PHP's native support for uploading image and text files through a Web browser. It can clean up the file's name, detect it ...
ANG GES G P
In diesem RegEx-Bereich wird eine kurze Einführung in das Thema Reguläre Ausdrücke gegeben. Danach werden einige gebrauchsfertige Reguläre A ...
682 x angesehen
0 x gemerkt
Details zur Anzeige
ANG GES G P
Anfrage stellen

Du bist nicht als Benutzer angemeldet. Bitte gebe Deinen Namen und E-Mailadresse an!

Wird geladen... Bitte warte.
Details zur Anbieter

toon.goedhart@