Small data e wide data: entendam como essas tecnologias reescrevem o big data

Até 2025, 70% das organizações mudarão seu foco de big data para pesquisas de dados mais abrangentes conhecidas como small data, fornecendo mais contexto para análises específicas e tornando a inteligência artificial (IA) menos dependente de enormes quantidades de dados. A previsão é do Gartner, segundo o qual a recomendação é que líderes de data & analytics (D&A) devem recorrer a novas técnicas de análise conhecidas como “small data” (pequenos dados) e “wide data” (dados amplos).

Em nota, Jim Hare, vice-presidente de pesquisa do Gartner, explicou que interrupções como a pandemia covid-19 estão fazendo com que dados históricos que refletem condições passadas se tornem rapidamente obsoletos, o que está quebrando muitos modelos de inteligência artificial e aprendizado de máquina (ML, sigla em inglês para machine learning).

Segundo Hare, a tomada de decisões por humanos e IA tornou-se mais complexa e exigente; e excessivamente dependente de abordagens de aprendizado profundo dependentes de um enorme conjunto de dados. Ele avalia que, juntas, técnicas de small e wide data são capazes de usar os dados disponíveis com mais eficácia, reduzindo o volume necessário ou extraindo mais valor de fontes de dados diversificadas e não estruturadas.

Small data e wide data permitem o avanço nas análises de dados e uso de inteligência artificial. A utilização de small data é uma abordagem que requer menos dados, mas totalmente direcionada para insights úteis para os negócios. Esse modelo inclui certas técnicas de análise de série temporal ou aprendizado baseado em poucos instantes, dados sintéticos ou aprendizado supervisionados automaticamente.

Já o uso de dados mais abrangentes (wide data) permite a análise dos registros por meio da sinergia de diversas fontes de dados (pequenas ou grandes) não-estruturados e estruturados. Esse modelo aplica análises X, com X significando encontrar links entre fontes de dados, bem como para uma diversidade de formatos de dados. Esses formatos incluem tabular, texto, imagem, vídeo, áudio, voz, temperatura ou mesmo cheiro e vibração.

Hare explicou que ambas as abordagens facilitam as análises de dados e a aplicação de IA de forma mais robusta, reduzindo a dependência de uma organização em relação ao conjunto de big data e permitindo uma consciência situacional mais rica e completa, em 360 graus. 

Aplicações de small e wide data podem ser usadas em áreas como a previsão de demanda no varejo, inteligência comportamental e emocional em tempo real e no atendimento ao cliente aplicada à hiperpersonalização e melhoria da experiência do cliente.

Outras áreas incluem segurança física ou detecção de fraudes e sistemas autônomos adaptativos, como robôs, que aprendem constantemente pela análise de correlações no tempo e no espaço de eventos em diferentes canais sensoriais.