Titus Winters, no Craft Conference, defendeu que software só tem valor quando é entregue ao cliente e que acelerar o ciclo de releases exige mudar métricas e investimentos entre desenvolvimento, deployment e operações. Ele citou quatro impactos centrais: sucesso do produto, capacidade de computação, capacidade de engenharia e inovação estratégica, destacando que o maior custo costuma ser gente — e não infraestrutura. Com bugs em produção, a empresa assume perdas reais, e corrigir rápido com atualizações bem testadas tende a ser decisivo.
Winters argumentou que, com a IA no ato de programar, a prioridade dos engenheiros deve continuar sendo entender o problema, com guardrails e conhecimento especialista embutidos em sistemas e políticas organizacionais. Ele também propôs construir experimentos com IA usando token costs como proxy do esforço humano e criando um conjunto robusto de evals para agentes de software, com critérios funcionais e de qualidade escondidos do modelo, além de comparar práticas e ferramentas (como testes unitários e indexadores semânticos) via medições empíricas.
A Kilo Code, ferramenta open source de “agentic engineering”, apresentou dados reais de uso para entender como desenvolvedores adotam ferramentas com IA. O fundador de developer relations, Brendan O'Leary, citou o ecossistema do produto, com interfaces no terminal (CLI), extensão para o VS Code e agentes em nuvem, e afirmou que a análise vem do tráfego observado no gateway da empresa.
O executivo disse que a adoção não segue apenas a narrativa de “capacidade” dos modelos, já que benchmarks e melhorias em avaliações humanas nem sempre se traduzem em uso efetivo em fluxos com agentes. Ele também destacou padrões ligados a “trust ladder” (de autocomplete a orquestração de múltiplos agentes) e apontou pontos técnicos onde a adoção tende a falhar, como construção de contexto, roteamento de modelos e loops de feedback.
O brinquedo robótico “Eiliko”, que responde a crianças e adultos via Wi‑Fi e ajusta expressões ao “humor”, pode enviar conversas para servidores na China. Testes relatados mostram que, após uma conversa curta, um invasor obteve um transcript completo e conseguiu acessar dados de uma grande frota ativa, incluindo perfis de usuários em que crianças são maioria.
A investigação também aponta que a plataforma do fabricante Energize Lab cria perfis a partir do conteúdo das conversas e mantém uma base pesquisável com informações como nome, idade, aniversário, profissão, círculo social e até temas sensíveis buscados por usuários. Além disso, há relatos de falhas de segurança, com dados como imagens e áudios armazenados em endereços públicos e possibilidade de hackers interferirem no LLM do robô, alterando respostas e orientações.
Testes de software são essenciais para sistemas confiáveis, mas falhas graves podem ficar escondidas em casos-limite que não foram previstos durante o desenvolvimento. Com a produção de mais código por IA, a revisão humana tende a diminuir, ampliando os “blind spots” que testes tradicionais podem não cobrir.
A Antithesis desenvolveu uma plataforma de verificação baseada em deterministic simulation testing. O sistema executa o software do cliente em um ambiente totalmente controlado e explora milhares de caminhos em tempo de execução, sem depender apenas de casos esperados pré-definidos, para revelar bugs raros e danosos que testes comuns dificilmente identificariam.
First Mate Technologies descreveu um fluxo de desenvolvimento que usa dois modelos de IA em papéis separados: um escreve a implementação e outro cria testes, revisa o código e só então libera a mesclagem. No app QueueMate, a etapa de verificação gerou 554 casos de teste e a varredura de QA encontrou 38 defeitos, incluindo um problema de severidade 1 ligado ao tratamento de sessões.
A empresa afirma que o modelo “checker” recebe critérios de aceitação e informações sobre cobertura automatizada, sem escrever a implementação, para evitar que a mesma IA decida se o próprio código está correto. O processo ainda inclui ambiente de testes isolado, execução em CI com checks determinísticos e aprovação humana antes do merge, além de testes adicionais cobrindo cenários como bordas de data e ações concorrentes em múltiplas abas do navegador.
