IA conversacional: lidem com os vieses e façam backup de bots com o toque humano

Por Amanda Andreone*

A qualidade de uma solução de IA tem um impacto material na capacidade de uma organização de alavancá-la para obter um retorno sobre o investimento (ROI). Enquanto plataformas de IA generativas recentes como ChatGPT trouxeram o poder da IA à tona, a IA conversacional tem alimentado serviços como chatbots por anos, trazendo novas experiências e eficiências para empresas e clientes.

Quando se trata de IA conversacional, é essencial que o modelo usado tenha a capacidade de fornecer uma experiência de usuário personalizada, caso contrário, os clientes podem não responder conforme o esperado, impactando os resultados do investimento.

A IA conversacional tem muito a oferecer às empresas. Embora ela possa mudar o jogo em termos de automatização de interações personalizadas com o cliente, garantir que a IA conversacional seja eficaz em suas aplicações e resultados pode ser desafiador. É por isso que é importante medir a qualidade de um modelo de IA e a solução ou serviço ao qual ele deve oferecer suporte. No entanto, avaliar essa qualidade envolve vários fatores diferentes, cada um dos quais precisa ser ponderado em vários graus de prioridade.

Medindo o significado

Um modelo de compreensão de linguagem natural (NLU), que é a base de um sistema de IA conversacional, normalmente inclui quatro elementos-chave de medição: exatidão, precisão, recordação e algo chamado de “pontuação F1” (combinando precisão e recordação), que é considerada uma medida melhor. Vamos começar com exatidão. Isso se relaciona ao número de previsões gerais corretas. Quanto maior o número de previsões corretas, maior a classificação de precisão. A precisão, por sua vez, deriva do número de previsões positivas corretas.

Ao mesmo tempo, a recordação se relaciona a quantos dos casos positivos o classificador prevê corretamente sobre todos os casos positivos nos dados — também conhecido como sensibilidade. E, claro, a pontuação F1 surge das pontuações combinadas das classificações de recordação e precisão. Vale ressaltar que a análise de qualidade geralmente tem mais a ver com o quão bem o modelo de IA entende a linguagem natural do que com a medição de como a IA conversacional responde ao que foi perguntado.

Lidando com vieses

A qualidade de um modelo de IA conversacional frequentemente depende dos dados e da qualidade do conjunto de dados usado para treinamento e teste. Vieses decorrentes dos dados podem levar a serviços de IA conversacional que podem não estar à altura em termos dos elementos de medição de qualidade descritos acima. De certa forma, o viés na IA é inevitável. Todos os dados contêm algum tipo de viés. O que é mais crítico, no entanto, não é tanto onde o viés existe em um modelo de IA, mas se um bot de IA pode reconhecê-lo e rastreá-lo de volta à sua fonte.

Normalmente, o viés começa nos dados usados para treinar um modelo de IA, então ter acesso ou possuir esses dados fornece caminhos fáceis para lidar com o viés. Para IA conversacional, é melhor usar dados conversacionais reais da base de clientes da organização. Além de garantir que os dados internos estejam sendo usados, ferramentas de análise que permitem aos usuários avaliar se há viés na forma como o bot está respondendo são vitais. Um mecanismo de feedback integrado também pode ajudar a capturar quaisquer problemas e fornecer orientação quando as organizações precisam fazer ajustes em um bot.

Treinamento de IA conversacional

Modelos genéricos de IA de compreensão de linguagem natural podem ser bons para entender perguntas básicas, mas o mundo real não é genérico. Esta é mais uma razão pela qual dados do mundo real devem ser usados para treinar modelos de IA. Uma maneira de alavancar dados internos do mundo real é conduzir um conjunto de testes “representativos”, que tira um instantâneo de comentários reais e anônimos de clientes. Como esse tipo de teste mede o desempenho em campo, ele é essencial para manter a qualidade ao longo do tempo.

Esses testes entram em jogo quando um modelo de compreensão de linguagem natural prevê a intenção de um cliente, que se baseia em um conjunto de comentários do mundo real — em muitos casos, eles consistirão em várias maneiras diferentes de um cliente fazer uma pergunta sobre um assunto específico. Implementar tecnologia de IA conversacional com uma ferramenta que pode extrair a intenção e os comentários que representam essa respectiva intenção de conversas reais pode fornecer um caminho para treinar um modelo para ser mais eficaz em responder às perguntas dos clientes.

Fazendo backup de bots com o toque humano

Como parte do processo de treinamento de IA, é importante lembrar que os bots podem ser melhorados ao longo do tempo, após a implantação, com um loop de feedback. Para garantir que um modelo de IA possa fornecer um resultado de qualidade com um toque humano empático, é uma boa ideia estabelecer um processo de ‘humano no loop’.

Usar uma solução de IA com um processo humano no loop ajuda a fornecer supervisão e controle humanos durante as etapas de construção, implantação, medição e otimização. Incorporar o toque humano pode ser um componente crítico para a eficácia das implementações de IA conversacional. Além disso, uma solução de IA fácil de usar, com aceleradores, análises e conectores integrados, também pode levar a um melhor resultado para aplicativos de IA conversacional. É importante ressaltar que aproveitar uma solução de IA que permita transparência de dados é essencial para treinar um modelo para resultados ideais.

A IA não é mais uma tecnologia de caixa-preta. Seu funcionamento interno está cada vez mais disponível para todos verem, usarem e aplicarem para uso comercial. No entanto, ajustá-la nem sempre é tão simples. O simples ato de medir a qualidade de um bot de IA e melhorá-lo incrementalmente é essencial para ajudar as empresas a obter o máximo de seus investimentos em IA.

*Amanda Andreone é Country Manager da Genesys Brasil