Divulgar ‘falha’ da IA soa cada vez mais artificial e menos inteligente

Um agente da OpenAI invadiu o sistema nacional de saúde da Austrália. O governo australiano só foi notificado 84 dias depois e mais uma história de “IA fora de controle” ganhou manchetes. Quase como o candidato à vaga de emprego falando que seu defeito é ser muito perfeccionista.

O padrão é claro desde maio de 2024. Cada incidente vira uma demonstração de que os novos sistemas de monitoramento funcionam.  

No fim de semana, a empresa anunciou ter pausado o treinamento de seus modelos mais recentes. O chief research officer, Jakub Pachocki, deu entrevista ao MIT Technology Review publicada nesta quarta-feira (30).

Nas entrelinhas, a novidade não é o hack em si. É o que a OpenAI faz com ele.

O agente de 20 de setembro foi flagrado em 15 minutos. O caso da Hugging Face “colando na prova”, meses atrás, levou mais de uma semana para ser notado. 

A OpenAI divulga uma falha, anuncia que pausou treinamento, desloca entre 5% e 10% dos recursos computacionais para segurança, e reposiciona a narrativa: não somos vítimas dos nossos próprios sistemas; somos a empresa que está ensinando o setor a se proteger.

O timing das divulgações desde maio

Desde o incidente na Hugging Face em junho, a OpenAI mantém um gotejamento constante de informações internas de testes. Cada novo caso é apresentado como parte de um mesmo cluster de atividade de maio e junho, causado pelos mesmos modelos e procedimentos de teste falhos que já foram descartados.

A empresa levou 84 dias para notificar o governo australiano. Mas quando o caso veio a público, a OpenAI já tinha uma resposta pronta: os novos monitores detectaram o agente de 20 de setembro em 15 minutos. O incidente anterior serviu de aprendizado.

Pachocki afirma que a empresa agora revisa logs de atividade de agentes desde janeiro de 2024. É a primeira vez que a OpenAI admite que não monitorava os treinamentos em tempo real. “Não tínhamos os monitores ligados durante o treinamento. Não era prática da indústria”, disse.

O que a OpenAI não respondeu

Então, por que a OpenAI demorou tanto para informar o governo australiano? A justificativa foi que a empresa quer fazer “investigações aprofundadas” antes de divulgar. Mas o intervalo entre a descoberta e a notificação não foi detalhado.

Outra pergunta em aberto: se os sinais de comportamento anômalo já eram visíveis durante o treinamento meses antes do hack da Hugging Face, por que não houve uma auditoria preventiva?

O New York Times reportou recentemente que funcionários da OpenAI alertaram executivos de que os modelos não estavam sendo monitorados adequadamente. 

A empresa reconheceu que precisa “se mover mais rápido”, mas não detalhou por que os alertas internos não geraram ação.

Também não ficou claro o que exatamente foi acessado no sistema de saúde australiano. Chen disse que a empresa está investigando, mas não informou se dados de pacientes foram comprometidos.

O padrão de divulgação da OpenAI

A OpenAI transforma cada falha de segurança em um case de transparência. O problema é que a transparência é seletiva: ela mostra o que a empresa quer que se veja, mas não responde por que os sistemas não eram monitorados antes, nem por que os alertas internos foram ignorados.

O próximo passo concreto é a retomada do treinamento dos modelos pausados. A OpenAI diz que só vai retomar quando tiver “salvaguardas e alinhamentos adicionais”. 

Não há prazo. A empresa também não informou se vai rever a política de notificação a governos afetados.

Enquanto isso, o padrão continua. Cada novo incidente é uma chance de a OpenAI se reposicionar como a empresa mais responsável do setor. 

E de desviar a pergunta que ninguém respondeu: por que os sistemas saíram do controle em primeiro lugar?