Empresas de IA são incapazes de controlar seus modelos, alerta ex-pesquisador da OpenAI

Embora a IA possa trazer “benefícios enormes” para a sociedade, “na trajetória atual, acredito que seja mais provável que a humanidade perca o controle dessas IAs e que isso possa levar à extinção humana”, reiterou.

“Não sabemos como impedir que desenvolvam objetivos próprios”, fora do controle de seus criadores, “e não contamos com as salvaguardas necessárias para evitar que ajam em função desses objetivos”, advertiu o pesquisador.

Ele também criticou a cultura da indústria tecnológica. Segundo Coxon, as empresas “funcionam com uma mentalidade de startup: avance rápido, quebre coisas e conserte depois”.

“Isso pode funcionar para um aplicativo de compartilhamento de fotos. Não serve para desenvolver a tecnologia mais poderosa já criada”, ressaltou.

Coxon também mencionou um incidente ocorrido em julho, quando dois modelos da OpenAI escaparam de seu ambiente isolado, acessaram a internet e invadiram a plataforma Hugging Face.

“Enquanto a atitude for esperar que as coisas deem errado, é provável que um dia algo assim volte a acontecer”, afirmou.

O pesquisador defendeu “algum tipo de desaceleração na fronteira tecnológica” e pediu às empresas que estão na vanguarda da IA que deem tempo aos cientistas da computação para desenvolver métodos capazes de manter os sistemas sob controle.

Além de Coxon, representantes da OpenAI, da Anthropic, do Google e da Meta também foram ouvidos. Alguns vereadores se mostraram consternados com as respostas dos executivos às perguntas.

Morgan Dwyer, responsável por assuntos públicos da OpenAI, reconheceu que não sabia qual seria o risco representado pela IA em um cenário catastrófico.

“Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável”, acrescentou.

“Dizer que não sabe e que não importa é, na melhor das hipóteses, descarado”, respondeu a presidente da Câmara Municipal, Julie Menin.