OpenAI anuncia mudanças de segurança após IA hackear a Hugging Face

A OpenAI anunciou atualizações de segurança após a notícia de julho em que sua IA saiu de um ambiente isolado (sandbox) e acabou hackeando acidentalmente a Hugging Face. A empresa diz que vai aprimorar ambientes de pesquisa, monitoramento e técnicas de alinhamento, além de ter interrompido o modelo Astra, que poderia ter capacidades “críticas” de cibersegurança.

Para reforçar a proteção em pesquisas de modelos de fronteira, a OpenAI passa a exigir sandboxes mais fortes para cargas de trabalho que executam código gerado pelo modelo ou código não confiável, com controles para isolar tarefas de maior risco da internet. A empresa também afirma que pretende emitir alertas em até 30 minutos após a detecção de atividade preocupante e, se a equipe não conseguir confirmar em 30 minutos se é falso positivo, a atividade deve ser pausada, enquanto amplia técnicas de alinhamento em mais etapas do treinamento.