Modelos de difusão contínua para linguagem voltam a ganhar força

Pesquisas recentes em modelos de difusão contínua para linguagem reacenderam o interesse na abordagem, após alguns anos de pouca atividade. Métodos de difusão totalmente discretos haviam se tornado dominantes, mas a tendência parece começar a mudar com novos trabalhos e atualizações do tema.

O texto relembra a evolução do campo: tentativas discretas surgiram em 2021, enquanto abordagens contínuas apareceram em 2022 com propostas como Diffusion-LM, que usa embeddings contínuos para viabilizar a corrupção com ruído gaussiano. Depois de 2023, a difusão contínua teria “desaparecido” em favor da discreta, e a retomada atual é atribuída a mudanças no foco do desempenho e nas expectativas sobre escalabilidade.