Neste ano um dos assuntos mais falados foi Big Data. Uma pesquisa no Google Trends mostra um crescimento exponencial no interesse sobre o tema. Participei também de diversas palestras e reuniões com executivos para debater o assunto e a conclusão que cheguei é que ainda estamos discutindo muito e fazendo relativamente pouco. Existem, é claro, diversos casos de sucesso, mas a maioria das empresas ainda não tem uma visão clara do que é Big Data, do seu potencial e como alavancar esta potencialidade. O próprio conceito de Big Data ainda está um pouco nebuloso. Veja, por exemplo, o que diz o Global Language Monitor em relação ao assunto.
O que vejo são muitas empresas entrando em iniciativas de Big Data sem uma estratégia bem definida que as oriente. Big Data não é apenas comprar pacotes de tecnologia, mas uma nova maneira de explorar o imenso volume de dados que circula dentro e fora das empresas. Big Data embute transformações em processos de negócio, fontes de dados, infraestrutura de tecnologia, capacitações e mesmo mudanças organizacionais na empresa e em TI.
Antes de tudo, é importante lembrar que Big Data não trata apenas da dimensão volume, mas existe também uma variedade imensa de dados, não estruturados, dentro e fora das empresas (coletadas das mídias sociais, por exemplo), que precisam ser validados (terem veracidade para serem usados) e tratados em velocidade adequada para terem valor para o negócio. A fórmula é então, Big Data = volume + variedade + velocidade + veracidade + valor.
A questão do valor é importante. Big Data só faz sentido se o valor da análise dos dados compensar o custo de sua coleta, armazenamento e processamento. Existem também questões legais a serem resolvidas. Conheço um caso muito curioso de uma grande rede varejista americana que usa um sofisticado algoritmo de análise preditiva baseado na varredura de um imenso volume de dados de seus clientes. O algoritmo chegou a conclusão que determinado padrão de compras e comentários nas mídias sociais levantava uma boa possibilidade de uma determinada pessoa estar grávida e enviou correspondência com promoções para grávidas para sua residência. Quem abriu foi o pai da adolescente que descobriu então a gravidez a filha. O advertising baseado nestas análises é uma questão ainda indefinida de invasão de privacidade. O uso de dados para prever eventos futuros da vida de uma pessoa tem consequências impactantes, particularmente se familiares ou potenciais empregadores passam a ter conhecimento de questões pessoais ligadas a estilo de vida ou estado clínico. Pior se a análise não for verídica, o que geraria um inconveniente muito grande e eventualmente um processo legal.
A capacitação profissional é um fator importantíssimo. Recomendo a leitura do texto “7 new types of jobs created by Big Data”. Mostra que existem várias possibilidades de capacitação no setor, tanto no viés técnico como no analítico. No lado analítico é necessário preparação para sair do questionamento atual, que se faz pelo tradicional BI (“qual foi nossa taxa de crescimento em vendas, mês a mês, nos últimos dois anos”), obtida pelos dados históricos armazenados no Data Warehouse e coletados pelos sistemas transacionais para novos tipos de análises. Com dados coletados em tempo real, não apenas pelos sistemas transacionais, mas também de mídias sociais, bases de dados públicos e outras, inclusive que estão em sistemas internos, mas inaproveitados, podemos, por exemplo, chegar a respostas a “como podemos crescer 20% no ticket médio de nossos clientes nas lojas da Zona Sul do Rio de Janeiro, ao mesmo tempo em que a concorrência está inaugurando duas novas lojas?”. Analisar comportamento dos seus clientes e do mercado como um todo pode levar a identificação de oportunidades de lançamento de novos produtos, focalizados em determinados nichos deixados a descoberto pela concorrência.
Big Data é um Big Challenge para os CIOs e a área de TI. Primeiro temos as tecnologias que envolvem Big Data. Muitas vezes será necessário ir além das tecnologias tradicionais de banco de dados e Data Warehouse, entrando no campo dos bancos de dados NoSQL e processamento massivo. Temos também a questão da privacidade e acesso a dados confidenciais. É essencial criar uma política de acesso e divulgação das informações. Análises preditivas podem gerar resultados que podem questionar algumas perspectivas de negócios da empresa e precisam ter sua divulgação filtrada para não serem disseminadas inadequadamente. A capacidade analítica para traduzir dados em informações e conhecimento é outro desafio. Requer capacitação e ferramentas de visualização bem mais sofisticadas. Recomendo acessar o ManyEyes da IBM para uma ideia dos experimentos em novas formas de visualização de dados. Outra mudança que Big Data embute é a transformação das relações entre TI e o negócio. TI deve prover a base tecnológica, governança e procedimentos de segurança para o Big Data, mas as consultas e análises deverão ser feitas pelas áreas de negócio. O modelo Big Data deve ser para o usuário um modelo self-service.
Big Data não é em absoluto um hype de mercado. É um tsunami ainda em alto mar, pouco visível, mas com poder de causar devastação imensa se for ignorado. A sugestão que faço é avaliar o impacto do Big Data na sua indústria e sua empresa e quão distante a sua organização está hoje em termos de “estar preparada” para o que vem pela frente. Isto significa avaliar a empresa e a área de TI para as tecnologias, capacitações e processos que serão necessários para explorar o potencial do Big Data. Adicionalmente ainda é um cenário imaturo e existem poucos exemplos de “melhores práticas”. Portanto é uma iniciativa inovadora para maioria das empresas, com os riscos e, claro, as recompensas dos empreendedores inovadores. Mas, ficar parado esperando a onda chegar será perigoso, pois, provavelmente até o fim da década Big Data passará ser apenas “Just Data”. Será o modelo natural de pensar análises de dados.