OpenArch reúne implementações PyTorch de 72 arquiteturas de LLM

Um novo repositório chamado OpenArch disponibiliza implementações em Python/PyTorch de arquiteturas modernas de LLMs de código aberto, feitas do zero e organizadas uma por vez. O projeto reúne modelos baseados no catálogo de LLM Architecture Gallery, com escolhas estruturais como tipos de atenção, normalização, codificação posicional, roteamento de MoE e variações como MHA, GQA, MQA, RoPE e MoE denso ou esparso.

O objetivo do OpenArch não é competir com bibliotecas de produção, e sim facilitar o aprendizado com arquivos legíveis e comparáveis entre si. Implementações marcadas como ✅ podem ser usadas em forward passes, enquanto as marcadas como 🚧 ainda estão em construção; o repositório também incentiva contribuições para adicionar modelos, documentar decisões e criar testes de carregamento de pesos oficiais.