Startups disputam o “próximo” dos LLMs com atenção esparsa e power retention

Transformers, base dos principais grandes modelos de linguagem, estão ganhando limitações com o aumento do tamanho dos textos e do custo computacional. A discussão ganhou força após avanços recentes em LLMs, como modelos de raciocínio e maior capacidade de lidar com entradas grandes, que nem sempre são extensões diretas da tecnologia central.

Uma nova onda de startups tenta resolver o gargalo. A Subquadratic, de Miami, diz ter criado um mecanismo de atenção esparsa (SubQ) que rivaliza modelos LLMs de referência em tarefas como busca e codificação, enquanto a Manifest AI, de San Francisco, propõe “power retention” para manter apenas informações mais relevantes no contexto, adaptando um LLM de código open source (StarCoder) para o PowerCoder e lançando o Brumby, que a empresa afirma competir com versões do Qwen.