User-agent: * # allen Spidern das Indexieren erlauben Disallow: /CGI # Dem Spider das Verz /cgi-bin verbieten Disallow: /CGI_BIN # Dem Spider das Verz /cgi-bin verbieten Disallow: /Private Disallow: /sec