User-agent: * # todos os robôs poderão visitar o site
Disallow: /cgi-local/
Disallow: /logfiles/
Disallow: /fornecedor/
Disallow: /fornecedores/