L0 Discovery · Controle de acesso 11 checks

L0 — Discovery: a permissão que determina se máquinas entram ou ficam do lado de fora

Sem L0, as seis camadas seguintes são irrelevantes — um crawler bloqueado não lê JSON-LD, não indexa TL;DR, não descobre o Commerce Layer.

TL;DR

L0 cuida do controle de acesso para máquinas. Define se crawlers de AI (GPTBot, ClaudeBot, PerplexityBot) têm permissão explícita de indexar o site, onde está o manifesto machine-readable (llms.txt), e se existem pontos de entrada canônicos para discovery (/.well-known/). É a camada mais básica e, nos audits, a mais negligenciada. Esforço de implementação: 2–4 horas. ROI por hora: o maior do framework.

O que é

Controle de acesso para máquinas — não para humanos

L0 cuida do controle de acesso para máquinas. Define se crawlers de AI (GPTBot, ClaudeBot, PerplexityBot) têm permissão explícita de indexar o site, onde está o manifesto machine-readable do domínio (llms.txt), e se existem pontos de entrada canônicos para discovery (/.well-known/). É a camada mais básica e, nos audits, a mais negligenciada.

Analogia: L0 é o porteiro que decide se a máquina entra ou não. Não importa o quanto o interior do site esteja organizado — se o porteiro bloqueou a entrada, ninguém entra.

Por que importa

Os quatro motivos pelos quais L0 vem primeiro

  • Padrão emergente llms.txt adotado por marcas de referência — Anthropic, Mistral, Cloudflare, Stripe e Perplexity publicam; diretório público llmstxt.cloud cataloga centenas de sites. Sites sem llms.txt são interpretados pelos modelos como "sem manifesto declarado".
  • A maioria dos bloqueios de AI crawlers é acidental. robots.txt herdados de templates antigos bloqueiam GPTBot e ClaudeBot inadvertidamente.
  • /.well-known/ é o endereço canônico para discovery de agentes A2A. Google A2A Protocol (150+ organizações fundadoras) usa esse diretório como ponto de entrada padrão.
  • L0 é o maior ROI por hora de implementação de todo o framework. Fix de nível de domínio — uma intervenção melhora todas as páginas simultaneamente.
Como medimos

11 checks — do robots.txt ao sitemap-aeo.json

O aeo audit verifica 11 checks em L0: se o robots.txt permite AI crawlers nomeados, se o llms.txt existe e é válido, se /.well-known/ está acessível, se headers não bloqueiam bots relevantes, e se o sitemap-aeo.json está referenciado.

Score sem trabalho AEO 0–20
Score após implementação 75–90

O próprio site da EPIC tinha Technical score de 24,0 antes do trabalho — L0 era um dos principais contribuintes.

Como implementamos

4 passos — 2 a 4 horas de implementação

  1. 01
    Auditamos o robots.txt atual — identificamos regras de User-agent que bloqueiam GPTBot, ClaudeBot, PerplexityBot ou Google-Extended. (~30 min)
  2. 02
    Geramos o llms.txt via CLI — aeo generate <url> produz template pré-preenchido. EPIC refina com contexto de negócio real. (~2h)
  3. 03
    Criamos a estrutura /.well-known/ — publicamos o agent-card.json (ver L4) e configuramos o path de discovery. (~1h)
  4. 04
    Adicionamos referência ao sitemap-aeo.json no robots.txt. (~15 min)

Esforço total: 2–4 horas para sites em HubSpot ou Express. Nenhuma mudança de CMS necessária.

Caso anchor

De 10 para 88 em uma sprint

Empresa de tecnologia B2B com produto AI-native

L0 foi o primeiro módulo implementado. Após publicar llms.txt + robots.txt AEO-optimized + /.well-known/, o ChatGPT passou a citar a empresa com dados corretos em queries de descoberta de fornecedores. Combined Score de L0: de 10 para 88 em uma sprint.

FAQ

Perguntas frequentes sobre L0

Não. O robots.txt padrão foi criado para Googlebot e Bingbot. GPTBot (OpenAI), ClaudeBot (Anthropic) e PerplexityBot são User-Agents distintos que precisam ser explicitamente permitidos — ou ficam bloqueados por padrão em templates que usam Disallow: / para bots não listados.
llms.txt é o manifesto machine-readable do domínio. Descreve o que sua empresa faz, quais páginas são mais relevantes para indexação por LLMs, quais ações estão disponíveis e quais dados não devem ser treinados. Padrão emergente já adotado por marcas de referência: Anthropic, Mistral, Cloudflare, Stripe e Perplexity publicam; diretório público llmstxt.cloud cataloga centenas de sites. Sem ele, LLMs interpretam o domínio como "sem manifesto declarado" e dependem apenas do conteúdo HTML para inferir o que você faz.
Sim. HubSpot Pro e Enterprise permitem editar o robots.txt via configurações de domínio. O llms.txt pode ser publicado como página HubSpot com URL customizada. O /.well-known/agent-card.json requer HubSpot Enterprise (Serverless) ou um proxy de domínio — avaliamos isso no audit.