AGU salta de 150 milhões para 8 bilhões de tokens em uso para treinamento de servidores em IA
Chefe do serviço de infraestrutura de TI, Silvio Lima, diz que a questão do custo do token tem de ser avaliada pela tarefa realizada. Segundo ele, é o dado quem decide a melhor solução a ser usada.

O custo do token caiu muito, mas segue pesando nas contas, mas o peso final será dado pelo impacto da tarefa concluída, diz o chefe da infraestrutura de TI da AGU, Silvio Lima. Ele diz que, por conta do treinamento dos servidores com a IA, o consumo de token subiu de 150 milhões para 8 bilhões e pode subir mais. “É um volume gigante, mas temos de analisar o custo por tarefa concluída”, reitera o executivo, em entrevista à CDTV, do portal Convergência Digital, durante o IA. Gov Summit, realizado em Brasília, nesta terça-feira, 17/11, pela Network Eventos e pelo Instituto Conceptu.
“Quem vai decidir o melhor custo é o dado. É a aplicação. Se o cidadão está bem atendido na ponta, o custo está resolvido”, observa Lima. Ele admite que os tokens baixaram muito de preço – passaram de 20 dólares por milhão de tokens para 0,07 centavos no período de outubro de 22 para outubro de 24, mas é claro que se o consumo aumenta muito, o custo pesa. E a tendência é que só aumente porque teremos agentes IA interagindo com os sistemas em pouco tempo. Na verdade, o token é um comodity super fluído, que é algo comum, mas que varia o preço estupidamente”, diz o chefe da infraestrutura de TI da AGU.
Silvio Lima é taxativo: quem define o melhor para o custo – se token, GPUs ou licença na nuvem – é o dado, já que é ele quem define a solução. O especialista também é realista ao dizer que não é trivial comparar custos de tokens, tokens por APIs, nuvem ou GPUs, que vivem uma demanda muito aquecida e com fornecedores com problemas de entrega. Para o chefe da infraestrutura de TI da AGU, o pior que pode acontecer em um projeto de Inteligência Artificial é a vitória da IA de gabinete, ou seja, aquela IA enfiada ‘goela abaixo sem qualquer experimentação’. Assista a entrevista na íntegra com Silvio Lima, da AGU.



