# Datei: ROBOTS.TXT # Suchmaschinen instruieren # Alle Robots ausschließen: User-agent: * Disallow: / # Alle Robtos einladen (leere Datei erfüllt den gleichen Zweck) # User-agent: * # Disallow: # Alle Robots von bestimmtem Verzeichnis fernhalten: # User-agent: * # Disallow: /unwichtig/ # Disallow: /cgi-local/ # Mehrer Dateien für alle Bots ausschließen: # User-agent: * # Disallow: /diesunddas.html # Disallow: /unddiesehier.html