Terminal-Bench-Science 0.1 avalia agentes de IA em 70 fluxos de pesquisa

Terminal-Bench-Science 0.1 propõe um benchmark para avaliar agentes de IA em fluxos de trabalho usados por pesquisadores em suas próprias rotinas. Liderado por pesquisadores da Universidade Stanford e construído com a equipe do Terminal-Bench, o projeto reúne tarefas curadas por especialistas em várias áreas científicas.

A primeira versão traz 70 tarefas das ciências da vida, físicas, da Terra, matemáticas e de engenharia, cobrindo atividades como análise de dados, inferência estatística, simulação, otimização e prova de teoremas. Na avaliação, o Claude Opus 5 alcançou 30% de taxa de resolução, enquanto outros modelos ficaram abaixo de 10% em parte das tarefas, com o benchmark evoluindo continuamente para acompanhar o avanço da fronteira de IA.