Modelo transformer treinado do zero em 1,5h atinge 44% no ARC-AGI-1
Um transformer pequeno foi treinado do zero em 1,5 hora em uma GPU 5090 e atingiu 44% no ARC-AGI-1, superando muitos LLMs e com pontuação equivalente a TRM/HRM. O resultado também chega a 7% no ARC-2 e representa uma evolução do modelo anterior, com foco em ser mais rápido, melhor e mais barato, mantendo o código aberto.
O trabalho usa um benchmark de metalearning (ARC) com poucos exemplos por puzzle e regras diferentes entre tarefas, buscando melhorar a eficiência de amostras e reduzir custos de iteração. O autor descreve mudanças na arquitetura e no treinamento, incluindo upgrades como SwiGlu e RMSnorm, além de ajustes para evitar “data leakage” ao incorporar tarefas não sobrepostas de ARC-2.
Hacker News
O texto acima é um resumo reescrito. A apuração, o texto integral e os créditos são da fonte — abra o original para ler na íntegra.
Ler matéria original ↗Resumo gerado por IA a partir da matéria original e revisto pelo método descrito em como funciona a curadoria. Em caso de divergência, vale o texto da fonte. Achou um erro? Fale com a gente.