LinkedIn usa distilação multi-teacher em SGLang para acelerar busca de vagas
O LinkedIn detalhou a infraestrutura de treinamento por trás da busca de empregos com IA, com uma pipeline de multi-teacher distillation que comprime conhecimento de modelos grandes em um modelo de ranking com 0,6B de parâmetros. A empresa destaca que o ganho de velocidade vem principalmente do trabalho de sistemas: um framework customizado sobre SGLang serve os modelos teacher diretamente no loop de treinamento.
No processo, o LinkedIn criou a Online Multi-teacher Distillation, em que um cliente assíncrono consulta os teachers durante o treino e usa as saídas para compor as perdas de distilação; ao escalar com réplicas locais, a distilação ficou 3x mais rápida. Para reduzir custos e evitar cálculos repetidos, a empresa também usa a Offline Multi-teacher Distillation, pré-computando as saídas dos teachers e reutilizando-as no treinamento, além de otimizações como LiGer, multi-node training, FSDP2 e clusters H200, que somam um speedup de cerca de 8x.
InfoQ
O texto acima é um resumo reescrito. A apuração, o texto integral e os créditos são da fonte — abra o original para ler na íntegra.
Ler matéria original ↗Resumo gerado por IA a partir da matéria original e revisto pelo método descrito em como funciona a curadoria. Em caso de divergência, vale o texto da fonte. Achou um erro? Fale com a gente.