Para ser orientada a dados, Vtex implanta plataforma de BI baseada em AWS
Um desafio para empresas que desejam se tornar orientadas a dados é centralizar diversas fontes de informação, como bancos relacionais, streaming, logs, plataformas SaaS, entre outras, e disponibilizá-los para os usuários de negócios tomarem decisões mais assertivas.
Na Vtex, plataforma de comércio eletrônico baseado em cloud, conforme explicou Igor Tavares, engenheiro principal na plataforma de e-commerce, dados estavam acessíveis no Salesforce de onde era possível puxá-los e levá-los, por exemplo, para planilha e fazer análises, mas ter tudo isso em um dashboard atualizado constantemente deixa o consumo muito mais fácil.
Tudo era consumido diretamente no Salesforce. O processo foi aperfeiçoado quando a empresa, presente em 38 países, implementou uma plataforma de BI, utilizando serviços como Amazon Redshift e Amazon Quicksight, e ferramentas open source como Apache Airflow e AWS Data Wrangler.
Com isso, a Vtex passou a conseguir cruzar dados do Salesforce com outros coletados. “Trouxemos os dados do Salesforce para nosso lakehouse e isso permite a gente usar todos os dados da empresa, não apenas do Salesforce. Temos dezenas de fontes e podemos cruzá-los e usá-los de forma bem consumível”, explicou ao Convergência Digital.
O projeto, implantado há cerca de seis meses, permitiu aos executivos da Vtex tomarem decisões baseadas em dados. “Antes eram dias para conseguir reunir os dados em uma planilha e agora não, conseguem consumir em minutos”, destacou. O caso da construção da plataforma de BI na AWS foi apresentado durante o AWS Summit São Paulo, realizado nos dias 03 e 04 de agosto, em São Paulo. A solução, disse Igor Tavares, permite aos usuários ingerir, armazenar, processar e consumidor os dados para fins analíticos.
Na parte de arquitetura, a Vtex construiu um broker no qual prioriza receber dados como eventos (data ingestion API). Em armazenamento, tem Amazon Redshift, Amazon S3 e Amazon OpenSearch Service. E, em consumo, trabalha bastante com Amazon Redshift, Quicksight para dashboard. “Usamos várias ferramentas de BI; como funcionamos como plataforma não fechamos forma de consumo”, explicou o engenheiro. Segundo ele, AWS Lambda é chave, principalmente, para lidar com os picos de envio dos diferentes países onde a Vtex está presente.
Carolina Ferreira, arquiteta de solução no Data Lab da AWS, destacou, na apresentação, que um dos principais desafios é que os clientes querem extrair mais valor dos seus valor, mas os dados estão sendo gerados em vários lugares, com um crescimento exponencial e novas fontes. “Esses dados não são iguais; têm tamanhos diferentes e, por isso, preciso criar data lakes para colocar estes dados e múltiplas pessoas querem acessar os dados”, disse.
Como as empresas e as pessoas querem cada vez mais ter visão como um todo para entender o negócio e tomar as decisões, é preciso, enfatizou Carolina Ferreira, criar um lugar centralizado para colocar os dados e proporcionar uma visão comum para visualizar os dados ocorre por meio de plataformas de BI, nas quais é possível criar insights, dashboards, visões. Segundo Alexandre Rezende, arquiteto de solução no laboratório de dados da AWS, uma arquitetura moderna de dados tem de ser definida de forma que consiga integrar muitas fontes de dados, com integração dos data lakes, data warehouse e armazenamentos com propósitos específicos. “Governança unificada é importante”, enfatizou.
