robots.txt und dynamische Inhalte

[thesilencer5]

Hallo zusammen,

ich habe eine Webseite mit dynamischen Inhalten. Es gibt also nach außen hin immer nur eine index.php, die die entsprechenden Inhalte einbindet. Wie führe ich nicht zugängliche Bereiche in der robots.txt auf?

Sagen wir, ich möchte meine AGBs nicht bei Google stehen haben. Funktioniert sowas wie:

User-agent: *
Disallow: /index.php?c=agb

??
Alle Beispiele, die ich zu robots.txt finden kann, beziehen sich nur auf das Ausschließen von Verzeichnissen - also z.B. Disallow: /agb/

Oder muss ich das anders schreiben?
Danke im Voraus

[onemorenerd]

Google verstehts. Kannst du in deren Webmaster Tools auch selbst überprüfen.

Aber informiere dich mal über mod_rewrite!

[Hirnhamster]

Zur Not gibt es auch immernoch den Meta Tag robots, damit kannst du individuelle Seiten ausschließen

[Kropff]

Zur Not gibt es auch immernoch den Meta Tag robots, damit kannst du individuelle Seiten ausschließen

Hält sich aber nicht jeder daran. Das Beste ist immer noch mod_rewrite in Kombination mit .htaccess.

Peter