Observabilidade em agentes de IA: CI passa, mas respostas saem erradas

Mesmo com CI e evals aprovando, um agente de IA pode entregar respostas incorretas ao cliente e ainda assim “parecer” saudável: ele pode retornar 200, passar checagens de fidelidade e gerar instruções, mas para a versão errada do produto. O problema é descrito como um “gap de observabilidade”, em que rastros e taxas de erro não bastam para detectar falhas de contexto e de recuperação em recursos de IA.

O texto destaca que, para investigar, é preciso começar pelo run afetado e correlacionar release, configuração de recuperação e estado de feature flags diretamente no trace. A análise também sugere checar sinais como buscas repetidas e filtros nulos (por exemplo, quando a versão solicitada não chega à etapa de lookup), além de comparar duração e tokens da geração com execuções semelhantes para localizar onde o harness ou a cadeia de ferramentas introduziu o erro.