Agentes com LLM ainda falham: testes e “pass@k” viram rotina

Engenheiros que tentam colocar agentes baseados em LLM em produção relatam que a confiabilidade desaba quando pessoas reais usam o sistema. Mesmo com saídas estruturadas e limites como “título com até 80 caracteres”, uma pequena fração das requisições pode gerar respostas sem sentido e “explodir” o fluxo.

Para reduzir esse risco, o caminho passa por medir o comportamento e rodar testes em grande volume, usando a ideia de pass@k para detectar falhas raras. O debate também aponta que prompts não são o fator decisivo: adicionar um novo prompt muda o “universo” de contexto do agente e pode desestabilizar comportamentos já desejados.