Twilio cria métrica de “time-in-queue” para pipelines Apache Hudi

A Twilio descreveu um método para medir a “time-in-queue” em pipelines de data lake com Apache Hudi Delta Streamer e Kafka, corrigindo a diferença entre offset lag e idade real dos dados. Em vez de usar apenas métricas de consumer offset, o sistema calcula quanto tempo se passou desde a chegada da primeira mensagem ainda não consumida após o último commit do Hudi.

O cálculo é feito por um job externo que lê o checkpoint do commit mais recente no S3, busca o offset correspondente em cada partição do Kafka, extrai o timestamp da mensagem e calcula a defasagem por delta de tempo. A abordagem roda a cada 15 minutos, inclui tratamento quando o commit mais novo não traz metadados de checkpoint e permite transformar a defasagem temporal em um “data contract” com SLAs e alertas de freshness.