Governança única vai levar agentes IA ao fracasso em 40% das empresas

A aplicação de governança uniforme a todos os agentes de Inteligência Artificial (IA), independentemente de seu nível de autonomia e escopo, pode levar à falha desses agentes nas empresas, de acordo com o Gartner. As falhas são mais prováveis ​​de ocorrer quando as organizações não conseguem distinguir entre a capacidade de um agente de agir e o escopo de acesso que lhe é concedido.
O Gartner prevê que, até 2027, 40% das empresas irão rebaixar ou desativar agentes de IA autônomos devido a lacunas de governança identificadas somente após a ocorrência de incidentes em produção.

“As organizações estão tratando a governança de agentes de IA como binária, ou totalmente restrita ou totalmente confiável, e essa é a causa principal do fracasso”, diz Shiva Varma, Diretor Analista Sênior do Gartner. “Os agentes operam em diferentes níveis de autonomia e em diferentes limites de confiança. Quando os mesmos controles são aplicados indiscriminadamente, as organizações enfrentam dois modos comuns de falha: restrição excessiva de agentes simples, o que retarda a entrega e estimula o desenvolvimento paralelo, ou restrição insuficiente de agentes mais autônomos, o que aumenta os riscos operacionais, de segurança e de conformidade.”

Para mitigar esses riscos, o Gartner recomenda a aplicação de uma abordagem de governança proporcional que classifique os agentes de IA em níveis distintos de autonomia, com cada nível representando um limite de confiança diferente e requisitos de governança correspondentes.

Nível 1: Observação

No Nível 1, os agentes de observação têm acesso somente à leitura de fontes de dados definidas, sendo que os resultados são visíveis apenas para o usuário solicitante. Casos de uso comuns incluem resumo de documentos, recuperação de dados ou conhecimento e explicação de código.
“Nesse nível, a governança deve se concentrar em controles básicos, como acesso a dados com escopo definido, autenticação de usuário, registro de uso e testes básicos de funcionalidade e segurança”, afirma Varma. “Como o risco se limita principalmente à exposição de dados e à precisão dos resultados, os controles devem permanecer leves e direcionados.”

Nível 2: Aconselhamento

Os agentes de aconselhamento geram recomendações, rascunhos ou ações propostas, enquanto os humanos revisam todos os resultados e executam as ações manualmente. Esses agentes mantêm acesso somente de leitura, sem permissão de gravação em qualquer sistema, e são comumente usados para elaboração de e-mails, geração de relatórios ou códigos e apoio à tomada de decisões.
Embora os seres humanos executem as decisões, os agentes de aconselhamento podem influenciar o julgamento, criando riscos subsequentes quando resultados imprecisos são considerados confiáveis devido ao viés da automação.
“A governança para agentes de aconselhamento deve incluir todos os controles do Nível 1 e se estender para abordar a qualidade dos resultados e a influência nas decisões por meio de testes de precisão e alucinação, avaliações de qualidade específicas do domínio e treinamento de usuários sobre níveis adequados de confiança”, diz Varma.

Nível 3: Agir com aprovação

No Nível 3, os agentes podem executar ações como gravar dados, enviar comunicações ou modificar configurações, mas somente após aprovação humana explícita para cada ação.
“Nesse nível, a revisão humana só é eficaz se continuar sendo um controle significativo”, diz Varma. “Sem testes de segurança robustos, fluxos de trabalho de aprovação claros com trilhas de auditoria e procedimentos de resposta a incidentes específicos para cada agente, as aprovações podem se deteriorar sob pressão de tempo ou fadiga de aprovação, criando uma falsa sensação de segurança enquanto ampliam a superfície de ataque.”

Nível 4: Agir de forma autônoma

No nível mais alto de autonomia, os agentes executam ações de forma independente, dentro de controles definidos, com humanos revisando exceções, registros de auditoria e resultados agregados, em vez de decisões individuais.
“Quando os agentes operam de forma autônoma, as ações são executadas em uma escala e velocidade que podem ultrapassar a supervisão humana”, diz Varma. “Como a responsabilidade pelos resultados permanece com a organização, esse nível exige a governança mais rigorosa, incluindo monitoramento contínuo, controles aplicados, mecanismos de reversão rápida, dispositivos que interrompem a operação do agente em caso de violações de limites e definição clara de responsabilidade pelo comportamento do agente.”