De acordo com uma pesquisa do Gartner, realizada em maio com 147 Chief Information Officers (CIOs) e líderes em funções de TI, 24% dos entrevistados já haviam implementado alguns agentes de IA (menos de uma dúzia) e outros 4% haviam integrado mais de uma dúzia.
A mesma pergunta da pesquisa constatou que 50% dos entrevistados afirmaram estar pesquisando e experimentando a tecnologia, enquanto outros 17% disseram ainda não ter feito isso, mas que planejavam implementá-la até o final de 2026, no máximo. São necessários controles automatizados de confiança, risco e segurança para manter esses agentes alinhados e seguros, acelerando a necessidade e o surgimento dos agentes guardiões.
Os agentes guardiões são tecnologias baseadas em Inteligência Artificial (IA) projetadas para oferecer suporte a interações confiáveis e seguras com IA. Eles funcionam tanto como assistentes de Inteligência Artificial, apoiando os usuários em tarefas como revisão, monitoramento e análise de conteúdo, quanto como agentes evolutivos semiautônomos ou totalmente autônomos, capazes de formular e executar planos de ação, bem como redirecionar ou bloquear iniciativas para alinhá-las aos objetivos predefinidos do agente.
“A IA agêntica levará a resultados indesejados se não for controlada com as proteções certas”, diz Avivah Litan, Vice-Presidente Analista Distinta do Gartner. “Os agentes guardiões aproveitam um amplo espectro de recursos de IA agêntica e avaliações determinísticas baseadas em Inteligência Artificial para supervisionar e gerenciar toda a gama de capacidades do agente, equilibrando a tomada de decisões em tempo de execução com o gerenciamento de riscos.”
Cinquenta e dois por cento dos 125 entrevistados identificaram que seus agentes de IA estão ou estarão focados principalmente em casos de uso relacionados a funções administrativas internas, como TI, RH e contabilidade, enquanto 23% estão focados em funções externas voltadas para o cliente.
Como os casos de uso de agentes de IA continuam a crescer, há várias categorias de ameaças que os afetam, incluindo manipulação de entradas e envenenamento de dados, em que os agentes dependem de dados manipulados ou mal interpretados. Os exemplos incluem:
- Sequestro e abuso de credenciais que levam a controle não autorizado e roubo de dados.
- Agentes que interagem com sites e fontes falsos ou criminosos que podem resultar em ações envenenadas.
- Desvio do agente e comportamento não intencional devido a falhas internas ou gatilhos externos que podem causar danos à reputação e interrupção operacional.
De acordo com o Gartner, os CIOs e os líderes de segurança e IA devem se concentrar em três tipos principais de uso de agentes guardiões para contribuir com a segurança e a proteção das interações de Inteligência Artificial:
- Revisores: Identificar e revisar os resultados e conteúdos gerados pela IA quanto à precisão e ao uso aceitável.
- Monitores: Observar e rastrear ações de IA e agênticas para acompanhamento humano ou baseado em Inteligência Artificial.
- Protetores: Ajustar ou bloquear ações e permissões de IA e agênticas usando ações automatizadas durante as operações.
