BenchMIRT: novo método audita benchmarks de LLM por prompt e separa “safety” e raciocínio

A Hugging Face e pesquisadores da AllenAI lançaram o BenchMIRT, um método para auditar benchmarks de LLMs no nível de prompts individuais — as perguntas e tarefas usadas para pontuar o modelo. A proposta é mostrar que um benchmark pode medir mais de uma capacidade além do objetivo declarado, já que cada tarefa pode exigir habilidades diferentes para acertar.

O BenchMIRT foi treinado com resultados de 100 LLMs em 16 benchmarks e mais de 34 mil perguntas, e recuperou de forma independente duas dimensões dominantes: segurança (safety) e raciocínio geral. Em análises, o método indicou que benchmarks como BBQ podem refletir mais raciocínio do que viés social, enquanto WMDP se relaciona fortemente com raciocínio geral por envolver respostas perigosas que o modelo deve recusar ou não fornecer.