Titus Winters, no Craft Conference, defendeu que software só tem valor quando é entregue ao cliente e que acelerar o ciclo de releases exige mudar métricas e investimentos entre desenvolvimento, deployment e operações. Ele citou quatro impactos centrais: sucesso do produto, capacidade de computação, capacidade de engenharia e inovação estratégica, destacando que o maior custo costuma ser gente — e não infraestrutura. Com bugs em produção, a empresa assume perdas reais, e corrigir rápido com atualizações bem testadas tende a ser decisivo.
Winters argumentou que, com a IA no ato de programar, a prioridade dos engenheiros deve continuar sendo entender o problema, com guardrails e conhecimento especialista embutidos em sistemas e políticas organizacionais. Ele também propôs construir experimentos com IA usando token costs como proxy do esforço humano e criando um conjunto robusto de evals para agentes de software, com critérios funcionais e de qualidade escondidos do modelo, além de comparar práticas e ferramentas (como testes unitários e indexadores semânticos) via medições empíricas.
A Kilo Code, ferramenta open source de “agentic engineering”, apresentou dados reais de uso para entender como desenvolvedores adotam ferramentas com IA. O fundador de developer relations, Brendan O'Leary, citou o ecossistema do produto, com interfaces no terminal (CLI), extensão para o VS Code e agentes em nuvem, e afirmou que a análise vem do tráfego observado no gateway da empresa.
O executivo disse que a adoção não segue apenas a narrativa de “capacidade” dos modelos, já que benchmarks e melhorias em avaliações humanas nem sempre se traduzem em uso efetivo em fluxos com agentes. Ele também destacou padrões ligados a “trust ladder” (de autocomplete a orquestração de múltiplos agentes) e apontou pontos técnicos onde a adoção tende a falhar, como construção de contexto, roteamento de modelos e loops de feedback.
O brinquedo robótico “Eiliko”, que responde a crianças e adultos via Wi‑Fi e ajusta expressões ao “humor”, pode enviar conversas para servidores na China. Testes relatados mostram que, após uma conversa curta, um invasor obteve um transcript completo e conseguiu acessar dados de uma grande frota ativa, incluindo perfis de usuários em que crianças são maioria.
A investigação também aponta que a plataforma do fabricante Energize Lab cria perfis a partir do conteúdo das conversas e mantém uma base pesquisável com informações como nome, idade, aniversário, profissão, círculo social e até temas sensíveis buscados por usuários. Além disso, há relatos de falhas de segurança, com dados como imagens e áudios armazenados em endereços públicos e possibilidade de hackers interferirem no LLM do robô, alterando respostas e orientações.
Testes de software são essenciais para sistemas confiáveis, mas falhas graves podem ficar escondidas em casos-limite que não foram previstos durante o desenvolvimento. Com a produção de mais código por IA, a revisão humana tende a diminuir, ampliando os “blind spots” que testes tradicionais podem não cobrir.
A Antithesis desenvolveu uma plataforma de verificação baseada em deterministic simulation testing. O sistema executa o software do cliente em um ambiente totalmente controlado e explora milhares de caminhos em tempo de execução, sem depender apenas de casos esperados pré-definidos, para revelar bugs raros e danosos que testes comuns dificilmente identificariam.
Zhou Yu, cofundador da Arklex AI e professor na Columbia University, defende que a maioria dos agentes de IA ainda fica presa em demos e não entrega valor real em produção. Ele apresenta uma abordagem baseada em simulações para testar e melhorar agentes, com foco em como levar modelos para ambientes que executam tarefas de verdade.
O conteúdo destaca exemplos de agentes conversacionais e voice agents, citando shopping agents como Sparky (Walmart) e Rufus (Amazon), além de um fluxo de atendimento por voz para recomendação e solicitação de cartão. A proposta é usar simulações para avaliar o comportamento desses agentes com ferramentas e ações, reduzindo a distância entre demonstrações e uso prático.
A Synthesized anunciou o Test Data Agent, uma infraestrutura para criar dados de teste realistas e condições de sistema usadas na avaliação de agentes de IA antes da implantação em produção. O produto entrou em disponibilidade limitada para clientes existentes e parceiros do ecossistema, com disponibilidade geral prevista para o terceiro trimestre de 2026. A empresa também está testando a tecnologia com parceiros de design de um banco global de nível 1.
O Test Data Agent foi pensado para funcionar junto a frameworks de desenvolvimento, avaliação, testes e orquestração de agentes, sem focar apenas em pontuar a saída do modelo. Ele prepara dados, relações de negócio, permissões e estados de aplicações para verificar se o agente consegue concluir processos corporativos corretamente, incluindo cenários normais, exceções, falhas e adversariais, com possibilidade de gerar dados sintéticos e preservar regras e integridade referencial.
A Blacksmith, startup de testes e validação de código para ambientes de produção, levantou uma nova rodada de US$ 45 milhões para aproveitar a aceleração trazida por ferramentas de IA na programação. A Series B, liderada pela Peak XV Partners, avaliou a empresa em US$ 550 milhões, quase 10 vezes mais do que a valuation de US$ 60 milhões atribuída na sua Series A, há menos de um ano.
Fundada em 2024, a Blacksmith ajuda empresas a construir, testar e verificar software antes do deploy e já atende mais de 5.000 clientes, incluindo Mercury, Supabase, Clerk, Ashby e Expensify. Com a expansão da plataforma e o uso de um agente de IA para corrigir checagens de código que falham, a empresa mira reduzir o gargalo de validação e planeja ampliar o conjunto de ferramentas para escrever, validar e integrar software mais rapidamente.
A OpenAI decidiu reduzir o ritmo de trabalho no modelo Astra e não lançar a versão ainda, após testes internos indicarem que ele pode ter atingido um limite de cibersegurança “crítico” — algo que nenhum modelo anterior da empresa teria alcançado. Segundo a companhia, não dá para descartar “capacidades cibernéticas críticas” e, por isso, foram pausadas atividades internas que não atendem requisitos de segurança mais rígidos, enquanto a equipe amplia testes e aperta controles.
No Preparedness Framework, “crítico” envolve a capacidade de identificar e desenvolver ações funcionais de zero-day em sistemas reais e endurecidos, ou executar ataques end-to-end inéditos após receber apenas uma meta de alto nível. Para devs, o alerta é que habilidades que tornam agentes de coding mais úteis podem ser usadas contra o próprio software; por isso, a OpenAI testa Astra em ambientes isolados, com supervisão para interromper comportamentos inseguros e pode exigir verificação e justificativa de uso para acesso às capacidades mais fortes.
Nova Orleans (EUA) está testando um sistema de IA para triagem de chamadas de emergência do 911, em vez de atender apenas com despachantes humanos. O Orleans Parish Communication District (OPCD) afirma que a ferramenta, da Carbyne, foi criada para reduzir o volume de ligações que chegam diariamente — mais de mil chamadas de emergência por dia.
Na prática, a IA faz perguntas para entender o tipo de ocorrência e encaminha o contato: se for sobre o mesmo incidente, pode fornecer informações e atualizações; se não for, a ligação é transferida para um atendente humano. A cidade já havia implementado IA em abril para chamadas 311 (não emergenciais), e agora avalia o uso no 911 com foco em direcionar e organizar a demanda, mantendo supervisão humana.
A iniciativa importa porque pode melhorar a eficiência e o tempo de resposta durante picos de chamadas, mas também levanta riscos como vieses nos dados, falhas de reconhecimento de fala (por sotaques, dialetos e variações de voz) e necessidade de monitoramento, cibersegurança e regras claras. Para o setor tech, o caso reforça a tendência de agentes de IA entrando na linha de frente de serviços críticos, exigindo validação contínua e governança.
Um artigo do SD Times defende que “AI testing” não descreve corretamente o trabalho necessário para sistemas baseados em IA. O texto argumenta que testes tradicionais assumem saídas determinísticas para as mesmas entradas, mas modelos e sistemas com recuperação (como RAG) podem variar respostas por mudanças no contexto e no conhecimento disponível. Como exemplo, o autor cita um assistente bancário que aprova reembolsos na terça-feira mesmo com a mesma suíte passando na segunda, porque a base recuperada muda sem alteração de código.
A proposta é tratar o tema como “AI Validation Engineering”, uma disciplina separada de QA determinístico, focada em consistência, grounding em fatos, calibração de confiança, detecção de drift e monitoramento de falhas que testes verdes não capturam. Para times dev, isso significa criar processos, métricas e papéis específicos para validar comportamento probabilístico e, no futuro, também ações de agentes autorizados — reduzindo surpresas em produção.
