robots.txt class

Give this class the contents of a robots.txt file or the URL to it and it will parse it for you. As an option you can give it the name or your robot/spider/crawler and it will return only the section that applies to your case. Works through proxies with the help of Snoopy (see script for more details).

Rezensionen

Es sind noch keine Kommentare vorhanden.

Hier Kannst Du einen Kommentar verfassen


Bitte gib mindestens 10 Zeichen ein.
Wird geladen... Bitte warte.
* Pflichtangabe
ANG GES G P
PHP&Databases Managment (Select, Delete, Insert, Update)
ANG GES G P
A generalized parsed template caching mechanism, that can work with a variety of existing template classes.
ANG GES G P
This is a basic class to list the contents of a given directory. This class is written for UNIX file systems but could work in DOS with a few ch ...
ANG GES G P
Eine einfacheTemplate class in PHP 5 , mit Unterstützung für Platzhalter und Sections.
ANG GES G P
fileupload.class extends PHP's native support for uploading image and text files through a Web browser. It can clean up the file's name, detect it ...
ANG GES G P
Embed those pesky little gif files right into your scripts.
ANG GES G P
OIS ermöglicht Oracle DBAs den schnellen Zugriff auf diverse Oracle Parameter und Tuning Views, unter anderem werden folgende Informationen angez ...
ANG GES G P
Mit dieser Klasse,können Sie ganz leicht ein komplettes Verzeichnis mit Bildern verkleinern oder vergrößern lassen.Die neuen Größen müssen a ...
692 x angesehen
0 x gemerkt
Details zur Anzeige
ANG GES G P
Anfrage stellen

Du bist nicht als Benutzer angemeldet. Bitte gebe Deinen Namen und E-Mailadresse an!

Wird geladen... Bitte warte.
Details zur Anbieter

toon.goedhart@