Big Data

Ξ Deixe um comentário

Os operários e os cientistas dos dados

publicado por Luiz Fuzaro

Figura - Os operários e os cientistas dos dadosOs paradoxos aos quais somos expostos profissionalmente são muitos e, por vezes nada confortáveis, nem para nós, nem para nossas organizações.

São populares as brincadeiras a respeito de profissionais que trabalham no local outros se divertem como: Guias turísticos, Técnicos de Parques de Diversão, Porteiros de Boate, Croupier em Cassinos e inúmeras outras atividades.

Assim como também é famosa a frase que diz : “São os dois lados, da mesma moeda!”

Vejamos isto no assunto do momento, dados, Big Data, Analytics, Data Science, enfim, Dados!

Recentemente li em um livro “Data Integration Blueprint and Modeling: Techniques for a Scalable and Sustainable Architecture “ de Anthony David Giordano que a atividade de Integração de Dados não é atrativa (sexy). Tal afirmação é feita levando em consideração que as atividades envolvidas na integração de dados que consistem em criação de fluxos automatizados para extração, limpeza e carregamento de dados, é um trabalho extremamente disciplinado, complexo e entediante, logo não, atrativo.

Estamos falando de atividades já consagradas sendo que as técnicas mais utilizadas são :

  • EAI – Integração de aplicações empresariais.
  • SOA – Barramento de serviços/mensagens orquestrado
  • Federação – Consolidação de várias fontes de dados em uma organização de dados virtual
  • ETL – Extração, tratamento e exportação/carregamento de dados

Realmente, se olharmos para as atividades comuns existentes na integração de dados em sua diversas formas, não veremos o produto final destas como manifestação de beleza, arte ou algo que possamos contar na roda de amigos sem ter que explicar muito sobre isto.

Por outro lado, Hal Varian do Google disse a McKinsey em 2009:

I keep saying the sexy job in the next ten years will be statisticians. People think I’m joking, but who would’ve guessed that computer engineers would’ve been the sexy job of the 1990s?

Ou seja, o cientista de dados, estatístico e correlatos que trabalham com a manipulação e a interpretação dos dados desempenharão atividades que terão reconhecimento, visibilidade e ainda um título reconhecido no mercado de trabalho que serve de cartão de visitas para qualquer ambiente. As atividades da ciência dos dados também são arriscadas, disciplinadas e complexas e exige muita precisão e responsabilidade, logo, são um trabalho árduo, mas, sexy.

Porque então, o trabalho com dados pode ser estressante e complicado e em uma vertente, não ser atrativo e sem o devido reconhecimento e por outro lado ser altamente sexy e reconhecido?

Bem, podemos analisar tal questão sob a ótica do insumos e dos produtos gerados por de cada perfil profissional.

O Analista de integração parte de um objetivo específico: a criação de um banco de dados, tabela ou arquivo texto.

Depois de uma série de processos organizados em fluxos, manipulações de dados, agregações, limpezas e transformação e testes extenuantes de integração, o entendimento dos layouts, criação de transformações, criação dos processos, criação dos fluxos e validações ele entrega: bancos de dados, tabelas, arquivos texto.

O Analista de dados tem como objetivo: responder a questões ligadas ao negócio.

Seu trabalho consiste em analisar os dados e á partir de suas observações, tendo como foco a questão inicial, criar uma tese e apresentá-la de forma mais convincente, utilizando para isto as informações geradas em seus processos. As atividades executadas tem como insumo, assim como, o analista de integração: bancos de dados, tabelas, arquivos texto e planilhas. E requerido nesta atividade a criação de processos de extração, tratamentos, manipulações de dados e ainda , processos analíticos, inferências, testes para validação de hipóteses entre outros. Com produto final temos: bancos de dados, tabelas, arquivos texto, gráficos, apresentação e uma narrativa de apresentação da solução/resposta às questões iniciais.

Isto demonstra que ambas atividades são extremamente técnicas e exigem dedicação e responsabilidade, resultando em estresse e cansaço como qualquer outra.

Tomemos agora as atividades pela visão dos intervenientes, ou seja, os atores envolvidos: o demandante, o patrocinador e o cliente final.

Bem, podemos dizer que a atividade do Analista de Integração é um trabalho interno, ainda que suas atividades não sejam vistas, os impactos de sua atividade que estão no cerne das organizações tem uma característica estruturante. Mas, seu relacionamento está restrito a área técnica, quiça, alguns patrocinadores ligados ao negócio no limite da área de sistemas e ERP’s.

Neste quesito, o Analista de Dados demanda a área técnica para ter seus acessos às bases de dados e seus demandantes estão diretamente ligados aos negócios e atividades críticas, que necessitam de subsídios para tomada de decisões e criação de estratégias organizacionais. Às vezes, como requer uma isenção (de responsabilidade até) os analistas e suas teses são alçados aos níveis mais altos da organização para apresentação de seus trabalhos, trazendo uma visibilidade e um reconhecimento muito além da esfera de relacionamentos cotidianos de suas funções.

Acredito que é neste ponto,que uma pessoa certa na posição certa terá oportunidade de perceber que tem um trabalho atrativo.

Mas voltemos a máxima das “Duas faces da mesma moeda”.

O mesmo livro que cita a falta de atrativos para as atividades dos Analistas de integração salienta que esta mesma falta de atrativos, é a razão desta atividade ser relegada a um segundo plano, impactando fortemente nas organizações, causando:

  • Duplicação de dados,
  • manutenção de processos de integração desnecessários,
  • geração excessiva de dados inúteis e de qualidade ruim,
  • aumento do número de profissionais envolvidos,
  • e consequentemente aumento de custos.

Isto tudo porque as atividades decorrentes da integração de dados são responsáveis por pelo menos 70% dos custos de criação e manutenção de data warehouses (DW) e projetos de business intelligence (BI).

Ou seja, enquanto as atividade dos Analistas de Dados que são bem pagos, trabalham em universo colorido pelos heatmaps, dashboards, Pies e Time Series, seja fazendo extrações ou construindo teses para serem apresentadas aos altos escalões possuem uma atividade “cool” e atrativa.

Estes mesmos profissionais, são responsáveis pela invenção de processos alternativos de extração de dados fomentados por ferramentas muito poderosas e caras especializadas garimpar dados da fontes mais profundas da organização e para apresentações “eye candy”.

O problema é que o subproduto desta nobre e reconhecida atividade amplia a teia de processos que são orientados a responder uma pergunta ou negócios que nem sempre perenes, mas, que pela própria característica acaba gerando tudo aquilo que o Analista de integração deveria mitigar, e que na sua ausência a atividade sexy, que trás a “Salvação pela informação” também gera o “Caos da Integração”.

É realmente muito difícil neste mundo que vive na velocidade da dos negócios pensar em uma solução imediata pois requer um investimento em estrutural e processos corporativos, nem sempre tão fáceis de empreender.

Também, não são os profissionais citados a causa primária disto, pois, como profissionais, eles atendem as demandas que são postas e sua performance é avaliada pela capacidade de trazer os resultados aos desafios propostos.

Cabe realmente a alta organização, conscientemente priorizar na elaboração de sua arquitetura de dados também, a alocação de quantidades suficiente dos dois perfis, pois na minha visão, um bom trabalho na estrutura mais baixa da organização, na geração dos dados primários garante que se tenha muita facilidade nas camadas superiores para extrações e geração de informações, especialmente nestes tempos onde a única certeza que temos e que sempre virão mais dados e mais perguntas.

[Crédito da Imagem: Cientistas dos Dados – ShutterStock]

Autor

Profissional com sólidos conhecimentos técnicos em sistemas operacionais, infraestrutura, redes, segurança e serviços de base. Arquiteto de Soluções com conhecimento em vários tipos de ambiente e aplicações. Gestor de equipes experiente com capacidade de orquestrar recursos em diversas áreas de TI para obtenção de objetivos de projetos. Foco no desempenho e confiabilidade de soluções integradas para suporte aos processos de negócio. Especialista em Linux, Padrões Abertos, Software Livre e interoperabilidade em ambientes heterogéneos.

Luiz Fuzaro

Comentários

You must be logged in to post a comment.

Busca

Patrocínio

Publicidade



Siga-nos!

Newsletter: Inscreva-se

Para se inscrever em nossa newsletter preencha o formulário.

Artigos Recentes