Gerador robots.txt

Name: Gerador robots.txt
Availability: InStock

Crie seu robots.txt

Gerador de robots.txt

Crie seu arquivo robots.txt para controlar o acesso dos crawlers ao seu site.

Regras

User-agent

Disallow (bloquear)

Allow (permitir)

Incluir Sitemap

Adicionar referência ao sitemap.xml

Crawl-delay (opcional)

Resultado

# robots.txt gerado por DevDiniz Tools

User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /private
Allow: /

Sitemap: https://exemplo.com/sitemap.xml