PHPCrawl is a class for crawling/spidering Websites. It supports URL- and Content-Type-filtering, cookie- handling, limiter-options, and other features to specify the behaviour of the crawler. By overriding a special method of the class users can decide what should happen to the pages and their content, files and other information the crawler finds.
Suchmaschinen steuern über die Datei robots.txt!
hellorobots 1.0 erlaubt Ihnen schnell und einfach die Suchmaschinensteuerungsdatei robots.txt z ...
UdmSearch is a full-featured SQL-based free search engine software for intranet and internet servers.
Diese Suchmaschine durchsucht alle Dateien in den angegebenen Verzeichnissen. Die Suchmaschine hält sich an den Meta-Tag "robots" (und "noindex") ...
Mit phpunity.websearch haben Sie die Möglichkeit, den Besuchern Ihrer
Internetpräsenz eine schnelle und einfach zu bedienende Suchfunktion anz ...
Hier bieten wir Ihnen wieder ein Top Produkt. Dieses ist eine Suchmaschine für Blogs. Derzeit werden nur eine Handvoll Blogs durchsucht, was je ...
CTFR – Cloud Text For Robots
CloudTextForRobots ist ein einfaches Script geschrieben in PHP welches Ihre Webseite für Suchmaschinen wie Goo ...
CyberCrawl Meta Edition is a fully modular MetaSearch-Solution. The Script (written in PHP3) queries multiple SearchEngines (expandble through eas ...
Der NewsGrabber ist ein recht simples Script, zum Anzeigen der Heise bzw. Telepolis News auf der eigenen Website. Heise bietet Ihren Newsticker, s ...
