AWS leva testes de regressão de agentes de IA ao GitHub Actions

A AWS publicou uma implementação de referência para testar agentes de IA via GitHub Actions, permitindo que desenvolvedores rodem avaliações automatizadas dentro de pipelines de CI/CD. O fluxo pode falhar uma etapa de avaliação quando as pontuações do agente ficarem abaixo de um limite configurado, impedindo o merge ao configurar o job como check obrigatório.

A solução usa Amazon Bedrock AgentCore Evaluations para avaliar o agente após mudanças no código, no system prompt, no modelo ou na configuração de ferramentas. No exemplo, a AWS implanta o agente em um ambiente de desenvolvimento, o invoca com prompts de teste, analisa traces via OpenTelemetry/CloudWatch e aplica avaliadores como GoalSuccessRate, Correctness, ToolSelectionAccuracy e ToolParameterAccuracy, com limiar de 0,8 para reprovar resultados.