Anthropic discute uso de Claude em incident response e limitações

Engenheiro da equipe de confiabilidade da Anthropic afirma que passou a acionar o Claude antes de consultar dashboards de monitoramento, usando LLMs como apoio em incident response. Ele relata que, apesar de o modelo ajudar durante o on-call, não consegue “consertar” incidentes de forma completa, e que a equipe de AI SRE continua existindo e contratando.

O palestrante também destaca que incidentes reais não são problemas “bem formatados” como benchmarks, e que o modelo tende a falhar quando Claude fica indisponível. A discussão ainda aponta que a ideia de automatizar o trabalho de operação com IA enfrenta ceticismo por causa do contexto e da carga acumulada do on-call, mesmo com o avanço de datasets e testes voltados a esse tipo de tarefa.