Big Data: Como colocar em prática

Big Data ainda está no canto da tela do radar dos executivos, mas tem o potencial de ser um disruptor de competitividade entre empresas. Afinal se uma empresa puder obter insights aprofundados sobre seus clientes, o que eles desejam e mesmo opinam sobre a empresa e seus produtos, tem condições de mudar o jogo. Big Data e Analytics permitem encontrar padrões e sentido em uma imensa e variada massa amorfa de dados gerados por sistemas transacionais, mídias sociais, sensores, etc.

Portanto, Big Data cria valor para as empresas descobrindo padrões e relacionamentos entre dados que antes estavam perdidos não apenas em data warehouses internos, mas na própria Web, em tuítes, comentários no Facebook e mesmo videos no YouTube. Isto foi reconhecido pela McKinsey em seu relatório “Big Data: The Next Frontier for Innovation, Competition and Productivity”. Recomendo também acessar www.ibm.com/bigdata para maiores informações e exemplos práticos de uso.

Mas colocar Big Data em prática não é simples questão de instalar alguma nova tecnologia. As tecnologias impulsionadoras são fundamentais, mas é necessário também que a empresa adapte seus processos de negócio de modo a explorar os insights gerados. Um exemplo de uso de Big Data de forma inovadora é a Pistoia Alliance, associação de empresas da industria de “life sciences” que permite em modo de coopetição compartilhar dados para acelerar os seus processos de P&D. A ideia basica é criar um pool de Data Warehouses e através de processos inovadores e óbviamente novas tecnologias, compartilhar informações entre diversas empresas. Utilizando-se de modelos computacionais como cloud computing (aqui podemos falar em nuvens híbridas) se ganha em economia de escala, permitindo que grupos de empresas possam implementar estrategias de Big Data que sozinhas não teriam condições financeiras e tecnológicas. Para isso é necessário criar padrões de acesso e regras e políticas bem definidas de privacidade e segurança de acesso. Aliás, privacidade e segurança em Big Data merece, pela importância do tema, um post específico.

Outro pré-requisito essencial é dispor de expertise, com novas funções como data scientist e CDO (Chief Data Officer). O data scientist é um profssional multidisciplinar, com skills em ciência da computação, matemática, estatística e, claro, conhecimentos do negócio onde está inserido. Quem exatamente é esta figura não está claro, mas uma boa discussão pode ser vista aqui. Também vale a pena dar uma olhada nesta comunidade: http://www.datascientists.net/. Quanto ao CDO veja uma descrição do cargo e função na Wikipedia e o que Mario Faria, primeiro CDO do Brasil, da Boa Vista Serviços, me disse em um post anterior: “Minha função é bastante nova, apesar das empresas se preocuparem com o assunto dados há décadas. O papel de um CDO é ser o responsável por gerir os dados da empresa, através de uma estratégia baseada em valor para o negócio. Mesmo nos Estados Unidos, esta posição é nova, e o primeiro CDO foi o Professor Richard Wang do MIT, que em 2010, se licenciou para ser o CDO do Exército Americano.

O meu papel é conseguir olhar para as necessidades que a empresa tem em desenvolver novos produtos, serviços e ofertas, e quais são os insumos (no caso os dados) que precisam estar disponíveis para que isto ocorra. Se eu trabalhasse em uma indústria, meu cargo seria o de Diretor de Materiais”.

Na área de formação de profissionais para Big Data, a IBM implementou uma nova iniciativa nos EUA, denominada Big Data University, que visa a formação de estudantes de graduação e pós-graduação na área, expondo-os ao Hadoop e aos conceitos de Big Data. Lançado em outubro passado, a Big Data University já atraiu mais de 18 mil estudantes para seus cursos online gratuitos, em inglês. Deem uma olhada em bigdrsity.com.