Big Data

Ξ Deixe um comentário

O que fazer com Big Data? R: O canivete suíço para Big Dados

publicado por Luiz Fuzaro

O que fazer com Big Data ?  R: O canivete suíço para Big DadosO Canivete suíço foi originariamente produzido em 1891 para atender a uma demanda do exército suíço para uma ferramenta leve e versátil para atender a algumas demandas existentes dos soldados em campo de batalha á saber :

  • Uma lâmina afiada, de múltiplo uso,
  • Um abridor de latas, para comida enlatada e
  • Uma chave de fendas para montagem e manutenção do Rifle.

Alguns anos mais tarde, com um inovador sistema de molas foram colocadas pequenas ferramentas nos dois lados do equipamento e adicionadas mais algumas novas funcionalidades : uma lâmina pequena, um saca-rolhas, ampliando para sempre as muitas possibilidades de utilização.

Bem, o resultado do inovador sistema de molas todos conhecem, o canivete suíço evoluiu e conforme o contexto e a demanda foram criadas versões, com inúmeras variações para exércitos e outros para ambientes específicos como : Náutico, Golfe, Carpintaria para citar alguns, incluindo-se aí as versões com altímetros, barômetros, bluetooth, penDrive e a versão recordista com 87 ferramentas para 147 usos diferentes

Além disto, canivetes suíços foram utilizados, no deserto, na neve, nas montanhas, no fundo do mar e ate em espaçonaves em orbita da Terra.

Um exemplo de como uma ideia aparentemente simples, genérica e versátil, pode, conforme o contexto ser adaptada para atender a muitos tipos de demandas.

Em analogia contrária ao canivete suíço diversas ferramenta e softwares são utilizados precariamente para atender as novas demandas, algo como usar chave de fenda para apertar parafusos Philips ou alicate em lugar de chave de Allen.

Vejam o caso por exemplo do e-mail, que no início era a versão digital de uma carta, um tipo de comunicação assíncrona, passou pela necessidade para transferência de arquivos, lista de discussões, conversa em tempo real, jornal, revista eletrônica e até com anexos de voz para simular uma conversa.

Aos poucos, as coisas vão se especializando e se agrupando em torno de novas funcionalidade e fundindo-se em novas ferramenta agregando as funcionalidades, vejam quantos novos serviços tiveram como origem o e-mail, Bate-Papo, Listas de Discussões, WebMail entre outros, formas de comunicação, divulgação, e interações suportadas por serviços e softwares muito mais úteis e adequados para a funcionalidade específica.

As planilhas de cálculos eletrônicas são outro exemplo que se desvirtuou, utilizadas massivamente a partir do advento do PC, ou computador pessoal que desde 1979 com os Apples e mais tarde em 1981 com os IBM’s e até hoje já fizeram de tudo que é possível se fazer quando se fala de cálculos, números, estatísticas, relatórios, tabelas, cadastros, pequenos bancos de dados, enfim uma outra grande invenção que foi agregando uma quantidade enorme de funções derivando muito de sua concepção inicial de fazer cálculos.

Com o advento do Big Data a demanda por armazenamento, organização de dados encontrou soluções adequadas tanto em hardwares para acomodar seu volume, como em estruturas ágeis para organizar a coleta e recuperação destes dados, entretanto, ficou uma lacuna que é a interpretação destes dados para a geração de informações, úteis e imprescindíveis para a gestão da operação e estratégias dos negócios.

Soluções de analises de dados, estatísticas e modelos matemáticos ainda são muito caras e inacessíveis devido a curva de aprendizado e nivel de maturidade das organizações no trato com volumes de dados enormes gerados atualmente. Logo, a tentação para colocar parafusos com Martelo é latente, utilizar planilhas, extratores de relatórios e suites BI para manipular grandes volumes de dados é a resposta mais imediata para responder a estes desafios.

Neste contexto surge o R, sim, R(erre) uma linguagem de programação e um ambiente nascido no meio acadêmico, fruto da colaboração de professores e usuários espalhados pelo mundo e com licenciamento livre (Software Livre) e que aos poucos, em mais de dez anos de vida, tem se tornado o grande canivete suíço para manipulação de dados.

Desde 1995, o R tem sido disponibilizado gratuitamente, inicialmente para utilização no meio acadêmico uso este expandido para outras áreas se especializando em estatísticas, geração de gráficos, modelos matemáticos de análise de dados, são mais de 2000 pacotes de softwares que podem ser adicionados ao R expandindo sua utilização.

Em um universo de softwares com alto custo de aquisição, o R , torna-se uma importante alternativa como ferramenta na análise e na manipulação de dados, com testes paramétricos e não paramétricos, modelagem linear e não linear, análise de séries temporais, análise de sobrevivência, simulação e estatística espacial, entre outros, além de apresentar facilidade na elaboração de diversos tipos de gráficos, no qual o usuário tem pleno controle sobre o gráfico criado.

Existem interfaces gráficas para programação e apresentação de dados, plugins obtenção de dados bancos Oracle, Teradata, MySql, PostgreSql, arquivos texto, planilhas, filas de mensageiria entre outros.

Em tempos de BigData e análise exploratória de dados o R pluga em bancos de dados NoSql, Hadoop, MongoDB, HDFS, MapReduce e faz análises estatísticas transformando dados em informações e consolidando conhecimentos.

Em sua concepção o R possui gerenciamento eficiente de memória podendo facilmente utilizar gigabytes de memória RAM para endereçar dados e responder imediatamente as funções, geração de gráficos escaláveis com esquemas de 24 milhões de cores, compilação em várias plataformas (Linux, Windows e Mac).

Com o aumento gigantesco da quantidade de dados gerados atualmente (Big Data) e as necessidades de extração de informação destes o mundo dos negócios tem adotado R como ferramenta massivamente por sua maturidade, e características apropriadas ao processamento de informações, estatísticas, inferências e também pela característica de software livre. Assim como, tem surgido a cada dia empresas e consultorias voltadas a desmistificar o uso do R potencializando os resultados e de sua adoção.

O R compete e ganha com vantagem sobre planilhas e também com outros programas de mercado destinados a esta função, sua flexibilidade e o ecossistema que o suporta dá uma solução confiável e duradoura para seus usuários.

Vale a pena aprender mais sobre esta valiosa ferramenta, afinal quem não quer um canivete suíço de graça ?

[Crédito da Imagem: Canivete Suiço – ShutterStock]

Autor

Profissional com sólidos conhecimentos técnicos em sistemas operacionais, infraestrutura, redes, segurança e serviços de base. Arquiteto de Soluções com conhecimento em vários tipos de ambiente e aplicações. Gestor de equipes experiente com capacidade de orquestrar recursos em diversas áreas de TI para obtenção de objetivos de projetos. Foco no desempenho e confiabilidade de soluções integradas para suporte aos processos de negócio. Especialista em Linux, Padrões Abertos, Software Livre e interoperabilidade em ambientes heterogéneos.

Luiz Fuzaro

Comentários

You must be logged in to post a comment.

Busca

Patrocínio

Publicidade



Siga-nos!

Newsletter: Inscreva-se

Para se inscrever em nossa newsletter preencha o formulário.