Huawei Cloud diz que custo de IA não é só token e promete até 89% menos

O CTO da Huawei Cloud na América Latina, Bin Duan, afirma que comparar modelos de IA apenas pelo preço por token é uma forma incompleta de estimar gastos. Ele diz que o custo de uma aplicação depende de variáveis como tokens de entrada e saída, tamanho do contexto, uso de cache, volume de chamadas e complexidade da tarefa, o que pode levar a economias de até 80% e 89% conforme o cenário.

A lógica sustenta o Model as a Service (MaaS), que oferece acesso a diferentes modelos de IA por uma infraestrutura em nuvem. A Huawei também prevê desconto de 30% em horário de menor demanda para os modelos GLM 5.1 e GLM 5.2, além de integrar capacidade computacional, software de IA e operações em nuvem, com avaliação por latência, throughput, estabilidade, custo e qualidade do resultado.