Pesquisadores propõem atenção LLM com “células” em estado persistente

Uma pesquisa apresenta um framework formal para operadores de atenção em Large Language Models usando Persistent State Machines (PSMs), com provas matemáticas para limites de erro de quantização e uma construção discreta do Softmax sob hipótese de logits limitados. A proposta também é validada com implementação em FPGA: um array de 1024 células em Zynq-7000 (xc7z020) e uma integração em SoC com PCIe no UltraScale+ (xcvu9p), incluindo interconexões AMBA AXI4 e ponte PCIe Gen3 via XDMA. Nos testes, a lógica fechou timing a 62,5 MHz (WNS +1,854 ns) e a simulação com mais de mil vetores aleatórios bateu bit a bit com uma referência em software fix-point.

O que muda na prática é a tentativa de tornar a atenção mais “hardware-friendly”, usando transições locais determinísticas em células estacionárias e gating para reduzir comutação ativa. Para devs/tech, isso sinaliza caminhos para acelerar e baratear inferência de LLM em dispositivos programáveis, com foco em eficiência energética e escalabilidade — embora os números de energia sejam estimativas de ferramenta, não medições em placa.