API e interface do ChatGPT contam histórias diferentes sobre a visibilidade da sua marca

Essa é a principal conclusão de um experimento conduzido por Malte Landwehr, CPO e CMO da Peec AI.

O estudo colocou os mesmos 555 prompts na interface do ChatGPT e na API, repetindo cada consulta 47 vezes nos dois ambientes. Ao todo, foram analisadas mais de 52 mil conversas, usando versões baseadas no mesmo modelo, o GPT 5.6. 

O resultado não foi uma pequena variação estatística. A visibilidade média das marcas mudou 41% quando a medição passou da interface para a API. Em um caso particularmente expressivo, a marca mais visível na interface sequer apareceu entre as três primeiras na API.

A conclusão prática é direta: interface e API não devem ser tratadas como janelas intercambiáveis para o mesmo produto. Elas expõem experiências, mecanismos de busca e padrões de resposta diferentes.

Os números não batem

A diferença aparece em praticamente todas as dimensões analisadas por Landwehr: presença de marcas, quantidade de buscas paralelas, domínios citados, tipos de páginas utilizadas como fonte e extensão das respostas.

A distribuição dos domínios também mudou de forma relevante. Duas das 25 principais fontes da interface não chegaram sequer ao top 100 da API. Isso significa que uma ferramenta de monitoramento baseada exclusivamente na API pode classificar como irrelevantes fontes que, na prática, aparecem com frequência na experiência de quem usa o produto diretamente.

A busca também é diferente

O chamado fanout é o processo pelo qual um sistema divide uma pergunta em várias buscas ou consultas auxiliares antes de produzir uma resposta. Quanto maior e mais variado o fanout, maior tende a ser o espaço de fontes consideradas pelo sistema.

No experimento, Landwehr observou até 20 fanouts na interface, contra no máximo sete na API. A diferença ajuda a explicar por que os dois ambientes podem chegar a conclusões distintas mesmo quando recebem exatamente o mesmo prompt e utilizam um modelo da mesma família.

A interface parece operar com uma camada mais ampla de busca, seleção e reranqueamento. A API, por outro lado, apresentou um processo mais restrito e respostas mais longas, com maior peso para páginas de produto e guias práticos.

Isso não significa que a API seja simplesmente “o modelo em estado puro”. Uma API também pode aplicar instruções de sistema, ferramentas, parâmetros de busca e configurações próprias. O ponto é outro: a configuração acessível pela API não representa automaticamente a configuração que o usuário encontra na interface.

O tipo de fonte muda o diagnóstico de GEO

As diferenças mais importantes não estão apenas em quais marcas aparecem, mas em quais tipos de conteúdo sustentam as respostas.

Na interface, listicles e páginas de comparação tiveram participação significativa. Na API, esses formatos praticamente desapareceram: os listicles caíram de 25% para 4%, e as páginas de comparação, de 18% para 2%.

No sentido oposto, páginas de produto e guias how-to passaram de 34% para 63% das fontes observadas na API. Se uma equipe usa somente esse ambiente para orientar sua estratégia de conteúdo, pode concluir que precisa investir principalmente em páginas transacionais e tutoriais. Essa recomendação talvez faça sentido para a API, mas não necessariamente para a experiência real do usuário na interface.

O mesmo vale para fontes editoriais e conteúdo gerado por usuários. Na interface, o UGC representou 2% das fontes e os conteúdos editoriais, 5%. Na API, esses percentuais caíram para 0% e 1%, respectivamente.

A métrica não está apenas dizendo quem aparece. Ela está dizendo que tipo de evidência o sistema considera relevante. Quando o ambiente de medição muda, essa interpretação também pode mudar.

A interface mostra a experiência; a API pode funcionar como diagnóstico do modelo

A consequência mais óbvia do estudo é que a interface deve ser a referência principal quando a pergunta for: “O que um usuário real provavelmente verá?”

A interface incorpora as camadas de busca, fanout, seleção e reranqueamento que moldam a resposta final. Por isso, ela é o ambiente mais próximo da experiência de consumo do produto.

A API continua tendo valor. Ela oferece um ambiente mais controlado para repetir testes, comparar versões de modelo e detectar mudanças com rapidez. O próprio estudo observa que a API pode dar acesso antecipado a novos modelos ou revelar alterações antes que elas sejam perceptíveis na interface.

Mas a API pode cumprir uma segunda função, menos discutida: servir como um diagnóstico da associação que o modelo faz com uma marca quando recebe menos mediação de produto.

Essa leitura deve ser tratada como uma interpretação estratégica, não como uma propriedade absoluta da API. Ainda assim, ela é útil. As respostas da interface mostram o resultado final de um sistema de recuperação e seleção. As respostas da API ajudam a investigar o que permanece quando parte dessas camadas é configurada de outra maneira.

Em outras palavras, a interface responde à pergunta “como a marca aparece neste produto?”. A API pode ajudar a responder “quais conceitos, entidades e fontes o modelo associa à marca sob esta configuração?”. São perguntas diferentes.

O que isso muda na mensuração de GEO

O erro não está em usar a API. O erro está em usar apenas a API e apresentar o resultado como se ele fosse uma medida direta da experiência do usuário.

Uma estratégia de mensuração mais robusta deveria separar pelo menos três camadas:

1. Visibilidade na interface: mede a presença da marca no ambiente que o público utiliza, incluindo as camadas próprias de busca e reranqueamento do produto.
2. Comportamento da configuração de API: mede como o modelo responde em um ambiente mais controlado, útil para comparação, repetição e detecção de mudanças.
3. Perfil de fontes e entidades: identifica quais domínios, formatos e conceitos aparecem em cada ambiente, sem misturar as distribuições.

Os resultados também não deveriam ser agregados em uma única pontuação sem informar a origem dos dados. Uma marca pode ter desempenho alto na interface e baixo na API, ou o contrário. A média entre os dois ambientes pode esconder justamente a diferença que a equipe precisa entender.

GEO precisa influenciar dois níveis

O estudo sugere uma mudança importante na forma de pensar o Generative Engine Optimization, ou GEO, conjunto de práticas destinadas a aumentar a presença de marcas e conteúdos em respostas geradas por sistemas de IA.

O primeiro nível é o nível do produto. Nele, o objetivo é entender como o mecanismo de busca, o fanout, o reranqueamento e as regras da interface selecionam fontes e montam respostas para o usuário.

O segundo é o nível do modelo. Nele, o desafio é construir uma presença semântica forte o suficiente para que o modelo reconheça a marca, associe-a às categorias certas e a considere uma referência relevante em diferentes configurações.

Um trabalho consistente de GEO precisa considerar os dois níveis. Otimizar somente para a interface pode produzir resultados frágeis quando o modelo muda ou quando a marca é avaliada em outro ambiente. Otimizar somente para a API pode gerar recomendações que não correspondem ao que as pessoas realmente veem.

A pergunta mais madura, portanto, não é “API ou interface?”. É: qual ambiente responde a qual pergunta, e como os resultados se relacionam?

A diferença de 41% na visibilidade média das marcas é o dado mais fácil de memorizar, mas talvez não seja o mais importante. O aspecto decisivo é que interface e API selecionam fontes diferentes, realizam fanouts diferentes e produzem respostas com estruturas diferentes.

Por isso, uma marca pode parecer dominante em um ambiente e secundária em outro. Pode ser associada a listicles e comparadores na interface, mas a páginas de produto e guias how-to na API. Pode aparecer em um ranking de fontes e desaparecer completamente em outro.

Mensurar GEO exige medir o mundo que se quer compreender. Se o objetivo é avaliar a experiência do usuário, a interface é indispensável. Se o objetivo é investigar o comportamento do modelo em uma configuração controlada, a API é valiosa. Se o objetivo é construir uma estratégia duradoura, é preciso acompanhar ambas — sem confundir seus números.

A melhor leitura do estudo de Malte Landwehr não é que a API “não importa”. É que ela importa por uma razão diferente. A interface mostra o que o produto entrega. A API pode revelar sinais sobre o que o modelo associa, prioriza e reproduz sob outra configuração.

E uma estratégia de GEO realmente robusta precisa influenciar os dois.

Referências

API vs UI - How to track LLM visibility? — Malte Landwehr