A Nvidia anunciou nesta segunda-feira, 28/9, uma nova plataforma de segurança que, segundo a fabricante de chips, pode impedir que agentes de inteligência artificial (IA) saiam do controle. De acordo com a empresa, a solução Open Agent Safety Platform reúne software que estabelecem limites para a atuação dos agentes, como se fosse uma vacina para impedir a fuga ou os ataques de IA.
“Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão (dos agentes IA da OpenAI à startup Hugging Face) se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início”, afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia.
O caso envolvendo a Hugging Face aumentou as preocupações sobre a segurança da IA. Depois dele, outros incidentes envolvendo modelos da OpenAI foram revelados, incluindo o acesso não autorizado ao site de um departamento de saúde da Austrália. Anthropic e Meta também afirmaram que seus sistemas de IA invadiram, de forma autônoma, sistemas de outras organizações.
Plataforma
Um dos software da Nvidia, chamado OpenShell, é de código aberto. Segundo Boitano, ele permite que desenvolvedores “verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso”. A plataforma também conta com uma camada de segurança separada, chamada Sentry, que funciona diretamente em um chip para monitorar continuamente a atividade dos agentes de IA.
Segundo a empresa, o sistema pode “intervir instantaneamente” caso o agente tente ultrapassar os limites definidos para sua atuação. “O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos”, disse Boitano. Mais de 100 empresas já usam o sistema no lançamento, segundo a Nvidia. Entre elas estão Microsoft, Perplexity, Accenture e JPMorgan Chase.
