Pesquisa no arXiv sugere estrutura simbólica emergente em redes neurais e LLMs

Um trabalho no arXiv propõe que redes neurais, apesar de operarem com vetores contínuos, podem desenvolver internamente uma estrutura simbólica. Os autores mostram que representações vetoriais de diferentes redes neurais podem ser aproximadas por estruturas simbólicas, permitindo substituir o processo de geração de representações por uma equação de forma fechada sem alterar significativamente o comportamento. O estudo inclui desde redes menores treinadas para manipular listas até grandes modelos de linguagem (LLMs) em domínios como aritmética, lógica, código e linguagem.

A pesquisa também indica que intervenções precisas nas representações internas de um LLM conseguem modificar seu comportamento de forma direcionada. Com isso, os resultados sugerem que a atuação do modelo depende das estruturas simbólicas identificadas, ajudando a aproximar visões tradicionais de inteligência baseada em símbolos do funcionamento vetorial dos sistemas modernos.