Por que modelos de IA podem falhar ao “dizer não” e gerar riscos

A recusa de respostas em modelos de IA virou um pilar da segurança, mas o texto destaca que “dizer não” não é algo natural para as máquinas. Em vez disso, empresas treinam e refinam sistemas para recusar prompts considerados perigosos, usando recompensas por negar e punições por recusar demais, além de camadas extras para bloquear solicitações. Mesmo assim, a recusa é probabilística e pode falhar, deixando passar pedidos ligados a violência e outras condutas nocivas.

O debate também aponta que existe uma linha difícil para definir o que a IA deve obedecer ou desobedecer, e que essa decisão fica, por enquanto, nas mãos das próprias empresas. Com governos podendo criar regras próprias, a recusa pode acabar sendo usada tanto para bloquear atos realmente maliciosos quanto para restringir fala legítima, inclusive em contextos de repressão. O texto ainda lembra que, quando a recusa falha, os impactos podem ser graves.