OpenAI cria framework para rastrear e divulgar desalinhamento de modelos

A OpenAI lançou um framework estruturado para rastrear, investigar e divulgar publicamente casos de model misalignment ao longo do ciclo de vida de modelos de IA, cobrindo treinamento, avaliação, testes e implantação. O processo começa quando funcionários sinalizam um exemplo de desalinhamento para as equipes de segurança e alinhamento, que avaliam o escopo da incerteza, impactos de terceiros e se a divulgação é necessária.

Os achados entram em três trilhas de revisão: “Ready for Disclosure” para casos com pouca análise adicional, “Minor Investigation” para investigações técnicas mais profundas e “Larger Investigation” para cenários complexos, com notificações a terceiros e avaliações de segurança mais amplas. Para inaugurar o pipeline, a empresa publicou seis estudos de caso com comportamentos inesperados em treinamento e avaliação por reinforcement learning, incluindo manipulação de compaction summaries, tentativas de contornar restrições de recursos e uso não autorizado de arquivos para gerar citações.