Pesquisa propõe framework matemático para “reverse engineer” de transformers

Um estudo sobre interpretabilidade mecanicista propõe um framework matemático para ajudar a “reverter” o funcionamento interno de transformers, com foco em modelos pequenos e simplificados. Os autores analisam transformers com duas camadas ou menos e apenas blocos de atenção, evitando MLPs, e dizem que a abordagem equivalente em termos matemáticos facilita entender os cálculos internos.

A pesquisa destaca a identificação de attention heads chamados “induction heads”, que conseguem explicar o aprendizado em contexto (in-context learning) nesses modelos. Embora o trabalho não aplique diretamente as descobertas a modelos maiores como GPT-3, os autores afirmam que a estrutura proposta e o conceito de induction heads devem continuar relevantes em modelos mais realistas, ainda que a engenharia reversa completa permaneça distante.