Saiba qual é o atual estágio de evolução do Big Data

Faz mais ou menos um ano que publiquei meu livro sobre Big data. De lá para cá apresentei dezenas de palestras, participei de varias reuniões com CIOs e executivos de negócios para debater o tema, me envolvi em projetos e creio que já seja possível delinear um quadro do que evoluiu neste período. Indiscutivelmente que existe um viés bastante positivo quanto ao tema, com muitos executivos associando o termo Big data com novas oportunidades de negócio. O interesse é crescente, mas ainda, em termos práticos, pouca coisa realmente está acontecendo.

O que já podemos identificar? Primeiro que ainda existem diferentes estágios de compreensão do que é Big Data. Grosso modo cerca de 1/3 das empresas ainda não está pensando em Big data, 1/3 estão planejando algo em breve e 1/3 estão fazendo alguma coisa, mas na maioria das vezes projetos POC- Proof of concept. Em operação contínua conta-se nos dedos…Mas este contexto nos mostra um quadro evolutivo. Depois de estudar e entender o assunto (estágio 1), passa-se a planejar algo (estágio 2), faz-se um projeto piloto (estágio 3), com investimentos pequenos, geralmente de forma bem informal, mais para provar as idéias, e finalmente, a decisão de investir mais formal, intensa e continuamente (estágio 4). E adiciono um quinto estágio de maturidade que é a continuidade do Big data na empresa, agora já com preocupações mais definidas de governança, como ter uma política de privacidade, de ética (que dados posso e devo usar) e tendo a figura do CDO (Chief Data Officer) diretamente ligado ao executivo chefe, ou seja, ao CEO.

Alguns setores se entusiasmam mais com Big data, como varejo, financeiro, seguros, saúde e transporte. A razão é simples: eles identificam mais rapidamente a proposta de valor para aplicar os conceitos de Big data, que variam desde melhoria do combate a fraudes (finanças e seguros) e melhor engajamento com clientes (varejo e transporte) à uma maior eficiência na prestação de serviços, como no setor de saúde. A maioria das experiências ainda estão, o que é perfeitamente normal, na escala da inovação incremental, que é melhorar uma atividade já existente, como relacionamento com clientes (melhorado a capacidade de entende-los) ou aumentar a eficácia do combate à fraudes. Creio que nos próximos anos veremos Big data sendo usado realmente de forma inovadora e disruptiva, criando novos negócios e serviços. É um estágio mais maduro, quando a organização entende que seus dados tem valor monetário e além de serem usados internamente, podem gerar receita com a venda de informações analíticas.

O caminho a ser trilhado é pedregoso. Não existem ainda “ best practices”  e sim muita experimentação. Os próprios fornecedores de tecnologia ainda estão imaturos quanto ao uso de suas tecnologias. Aliás, muitos deles compraram dezenas de empresas para ampliarem seu portfólio de ofertas, mas suas equipes de vendas e suporte técnico ainda não estão plenamente habilitadas para trabalhar com todo este aparato tecnológico.

Os desafios para entrar no mundo Big data extrapolam a tecnologia. Esta não é barreira. As tecnologias existem e a dificuldade é escolher quais…Os desafios estão na identificação clara de uma proposta de valor para investir em Big data, na definição de uma estratégia do que fazer após o POC e principalmente nas questões de governança (segurança, privacidade, ética e qualidade dos dados a serem usados).

Mas observo também que alguns mitos estão sendo quebrados. O primeiro é que as tecnologias para trabalhar com dados não estruturados não vão substituir as que trabalham com dados estruturados. Serão complementares. Pensava-se há algum tempo atrás que tecnologias como Hadoop e Mongo DB acabariam com os bancos de dados relacionais. Vão atuar em conjunto, cada um com sua especificidade.  Aliás, hoje a maioria dos dados analisados em projetos Big data são dados estruturados, que simplesmente não eram analisados adequadamente. Dados não estruturados (vídeos, imagem, textos como de e-mail ou de plataformas de mídias sociais como Twitter e Facebook) aparecem, geralmente, em um segundo estágio, quando a empresa já tem alguma experiência em projetos de Big data. Aliás, dados de mídias sociais interessam mais diretamente a  determinados setores como varejo, educação, telefonia e transporte, que interagem intensamente com numero muito grande de cliente finais.

Outro mito que começa a ser demolido. Big data não é necessariamente um “big volume” de dados. A variedade e a velocidade são outras variáveis tão ou mais importantes. Lidar com variedade é mais difícil de lidar que com volumes grandes, pois são dados em formatos completamente diferentes uns dos outros. E velocidade exige da organização que os processos de negócio afetados sejam responsivos na velocidade que os dados analisados permitam tomar alguma ação efetiva.

A falta de expertise é outro desafio. De maneira geral as empresas que já tem atividades de data warehouse e BI tendem a considerar que Big data é apenas uma extensão do que já fazem. Não!  No BI geralmente coleta-se dados estruturados de sistemas como ERP, conhece-se bem as demandas e as perguntas já estão feitas. A atividade é sistemáticamente analisar os dados e responder as questões já formuladas, como qual volume de vendas deste mês comparado com meses anteriores e daí extrapolar os crescimentos futuros. É um estilo de análise dedutivo. Já com Big data (volume, variedade e velocidade) o estilo de análise tona-se indutivo ou bottom-up por natureza. Isto significa que analisando-se os dados pode-se derivar insights e conclusões que não estavam previamente formuladas nas questões. É um modelo mais oportunístico, pois nem sempre prevê-se o que vai ser intuído da análise destes dados. Data scientists vão acabar com os analistas de BI? No meu entender são expertises complementares, que devem atuar em colaboração. Um analista de BI pode sim tornar-se um data scientist.

Uma questão que me chamou atenção neste período é descobrir, em muitas empresas,  quão baixa é a qualidade dos seus dados estruturados. Sim, aqueles dados que estão nos ERPs e outros sistemas internos. É um dificultador, pois o quarto V de Big data, veracidade, significa não apenas identificar que dados serão relevantes para análises, mas confiar na qualidade destes dados. É verdade que com grandes volumes de dados a precisão não é tão importante, mas a tendência que eles apontam. A acurácia desta tendência não é melhorada pela precisão individual de cada dado, mas pela sua densidade (mais dados e mais variedade, que gera mais variáveis, que ajustam o algoritmo). Mas os dados estruturados, estes sim, deveriam ter uma qualidade maior que a geralmente encontrada…foi realmente uma surpresa!

Em resumo, está claro que Big data não é apenas um hype. As coisas começam a acontecer e nos próximos anos veremos uma aceleração de projetos. As organizações estão aprendendo que seus dados tem valor, não quando inertes e armazenados em algum lugar, mas quando trazidos á vida, em análises inteligentes e inovadoras. Big data pode trazer à luz novos insights, antes inalcançáveis pelos métodos tradicionais de BI. Para isso demanda também uma mudança nos seus processos, de forma à reagir deslocando-se do paradigma da simples reação, ao paradigma de predição. Como agir antes que as coisas aconteçam?  Exigem processos mais ágeis e flexíveis. Os processos de negócio estão habilitados para tal? Colocando o conceito de Big data em prática, na sua plenitude, temos como resultado um maior valor para o negócio. Que é exatamente o quinto V de Big data!

[Crédito da Imagem: Big Data – ShutterStock]