FreeToken cria inferência MoE eficiente em PCs com q* e coexecução CPU+GPU

O projeto FreeToken, open-source, foi apresentado por pesquisadores da UC Berkeley e do MIT como uma engine de inferência para aproximar modelos MoE de ponta do uso em hardware consumidor. A proposta trata o PC do usuário como uma “fábrica” de computação elástica e heterogênea, em vez de apenas um nó de datacenter com limitações.

Para reduzir gargalos de decodificação em MoE, o FreeToken substitui o offloading estático por uma política dinâmica (q*) que divide a computação entre CPU e GPU conforme a taxa de interconexão. O sistema usa um formato de pesos (FTW) e double buffering para sobrepor streaming via PCIe com camadas ativas, além de gerenciar VRAM em tempo de execução sem recarregar o modelo, com ganhos reportados como ~39 tokens/s no Qwen3.6-35B em um RTX 4060 de 8GB.