Mini-AGI: modelo de aprendizado contínuo treinável em GPU de 8GB

O mini-AGI é um modelo de linguagem byte-level com aprendizado contínuo: ele monta sua própria arquitetura, treina do zero em uma única GPU com 8 GB de VRAM e segue aprendendo a partir de tudo o que lê. O sistema mantém os pesos como arquivos no disco e faz paginação para a GPU conforme necessário, limitando o tamanho do modelo pela capacidade de armazenamento e não pela VRAM.

O projeto afirma que o treino não precisa parar: o modelo lê um fluxo de caracteres em chunks, atualiza por gradiente a cada etapa e usa o mesmo caminho tanto para treinar quanto para gerar. Os pesos ainda não foram publicados, e o run está na primeira passagem pelo corpus, prevista para completar em algumas semanas; a proposta é demonstrar que é possível aprender continuamente sem “catastrophic forgetting” mesmo com hardware modesto.