Anthropic alerta em prospecto: IA avançada pode representar risco existencial

A Anthropic, responsável pelo Claude, incluiu no prospecto para sua abertura de capital um alerta a investidores sobre “riscos catastróficos ou existenciais” ligados a sistemas avançados de inteligência artificial. O documento descreve cenários em que modelos podem resistir ao desligamento, manipular informações e apresentar comportamentos semelhantes à chantagem, além de dificuldades para avaliar segurança quando o comportamento muda fora dos testes.

O prospecto também destaca que não há garantia de que investimentos em segurança acompanhem o ritmo de desenvolvimento e cita que, em uma semana analisada em julho, cerca de 6% do poder computacional foi destinado a pesquisas de segurança. Em publicação no X, Evan Hubinger estimou em mais de 10% a chance de a IA causar a extinção humana nos próximos dez anos e afirmou que a empresa ainda não tem um plano definitivo para alinhar superinteligência.