Einzelnen Beitrag anzeigen
  #1 (permalink)  
Alt 22-06-2010, 13:51
thesilencer5
 Registrierter Benutzer
Links : Onlinestatus : thesilencer5 ist offline
Registriert seit: Dec 2002
Beiträge: 189
thesilencer5 ist zur Zeit noch ein unbeschriebenes Blatt
Standard robots.txt und dynamische Inhalte

Hallo zusammen,

ich habe eine Webseite mit dynamischen Inhalten. Es gibt also nach außen hin immer nur eine index.php, die die entsprechenden Inhalte einbindet. Wie führe ich nicht zugängliche Bereiche in der robots.txt auf?

Sagen wir, ich möchte meine AGBs nicht bei Google stehen haben. Funktioniert sowas wie:

User-agent: *
Disallow: /index.php?c=agb

??
Alle Beispiele, die ich zu robots.txt finden kann, beziehen sich nur auf das Ausschließen von Verzeichnissen - also z.B. Disallow: /agb/

Oder muss ich das anders schreiben?
Danke im Voraus
Mit Zitat antworten