BI

Ξ Deixe um comentário

Perfil de um time de arquitetura de dados

publicado por Celso Viana

Figura - Perfil de um time de arquitetura de dadosCom o aumento e popularização do Big Data e Analytics, o aumento da complexidade dos dados e da forma de se trabalhar com eles, tornou-se um desafio definir o perfil de um time de arquitetura de dados somente com as habilidades dos profissionais com skill de DBA, administradores de dados e programadores de SQL.

Por isto surge a necessidade de se pensar em uma forma mais abrangente de equipe onde outras habilidades e pessoas vem se somar para poder montar um time de engenheiro de dados. Este time tem que ter a habilidade de ter uma abordagem multidisciplinar sobre o trabalho com dados porque esta equipe não manipula somente dados.

A equipe precisa de pessoas que não são apenas programadores. Eles são programadores com formação cruzada em outros campos e habilidades. A equipe também possui alguns membros ou conjuntos de habilidades que normalmente não estão em uma equipe ortodoxa de engenharia de software.

A equipe é quase totalmente focada no Big Data. É aqui que a especialidade da equipe é consistente. Todos na equipe de engenharia de dados precisam entender e saber como os sistemas de Big Data funcionam e são criados. Essa equipe também é responsável por ver como soluções de IA (Inteligência Artificial) podem ser inseridas para ajudar na melhoria da análise de dados e no processo de tomada de decisão.

Habilidades Necessárias no Time

Uma equipe de engenharia de dados não é um grupo de engenheiros de software. Pelo contrário, é um grupo de habilidades e pessoas complementares. A equipe em si é geralmente dominada por engenheiros de software, mas possui outros títulos que normalmente não fazem parte de uma equipe de engenharia de software.

Uma equipe de engenheiro de dados hoje em dia precisa possuir as seguintes habilidades:

  • Conhecer Sistemas distribuídos

Este profissional tem como função projetar a forma como os dados serão armazenados e distribuídos. Seu foco central é na ingestão de dados, distribuição e movimentação de dados entre várias tecnologias de armazenamento de dados.

Perfil com esta habilidade: Arquiteto de Dados, Engenheiro de Dados.

  • Habilidades de Programação

Esta pessoa a partir das definições e necessidades passadas pela equipe é o responsáveis por escrever o código que extrairá os dados das mais diferentes fontes e alimentará o data lake. Entre suas responsabilidades estão a de manter a governança das APIs utilizadas para alimentação deste data lake, ser responsáveis por olhar sempre para a integração continua dos sistemas transacionais ao data lake, gerir as APIs construídas para este propósito, fazer os testes de unidade para toda a interface construída.

Perfil com esta habilidade: Engenheiros de software, Arquiteto de Dados.

  • Análise de dados como produto

Este profissional tem como perfil enxergar o dado como um produto.  É necessário que este profissional faça análise em cima destes dados e o ofereça as áreas de negócio através de dashboard, ferramentas de ML, etc.

Perfil com esta habilidade: Analista de Dados, Analistas de BI.

  • Comunicação verbal

Pessoa responsável pela padronização visual, ou seja, como estes dados são expostos para o usuário final. Deve conhecer como exibir os dados de uma maneira que fique fácil para o usuário final sua navegação.

Perfil com esta habilidade: Analista de BI, Engenheiro de Interface Gráfica.

  • Veterano do Projeto

Um veterano do projeto é alguém que trabalhou com Big Data e teve suas soluções testadas e aprovadas em produção. Esta pessoa é idealmente alguém que tem vasta experiência em sistemas distribuídos ou, no mínimo, extensiva experiência, traz uma grande experiência para dentro da equipe valorizando e retendo as ideais boas e descartando as ideias ruins. Possui experiencia para saber quando algo é tecnicamente viável. É capaz de trazer ganhos de desempenho e economia de recursos.

Perfil com esta habilidade: Arquiteto de Software Sênior, Engenheiro de Software Sênior, Gerente Sênior de Tecnologia

  • Schema e Domínio

 As pessoas com essa habilidade ajudam as equipes a dispor os dados. Conhecem bem o negócio da empresa. São responsáveis por criar as definições de dados e projetar sua representação da forma que é armazenado, recuperado, transmitido ou recebido. Mantem a documentação de domínios, regras e formas de armazenamento dos dados. Ele estabelece as políticas e os guidelines para serem usados pelos times de TI. Trabalha de forma muito próxima ao time de arquitetura de sistemas

Perfil com esta habilidade: Arquiteto de Software, Arquiteto de Dados,  DBA.

Matriz de Análise de GAP de habilidades

Agora que temos as habilidades que gostaríamos de encontrar em um time de Dados, precisamos mapear quais as habilidades que o time possui e quais deverão ser adquiridas através de treinamentos ou de contratações.


Referencias:

  • Designing Data Governance por Vijay Khatri e Carol V. Brown, ACM – janeiro 2010.
  • Data Engineering Teams por Jesse Anderson – O’Reilly editora – 2017.
  • A Data Management and Analytic Model for Business Intelligence Applications por Misheck BANDA, Ernest Ketcha NGASSAM – Internacional Information Mamagement Corporation – IST Africa 2017.

Autor

Mestre em Engenharia da Computação pelo Instituto de Pesquisas Tecnológicas do Estado de São Paulo (2008) e Graduado em Ciências Contábeis pelo Centro Universitário FIEO (1999). Arquiteto de Dados atuando desde 2013 na gestão de dados corporativos para a área de saúde. Professor de graduação e pós graduação em Big Data.

Celso Viana

Comentários

You must be logged in to post a comment.

Busca

Patrocínio

Publicidade



Siga-nos!

Newsletter: Inscreva-se

Para se inscrever em nossa newsletter preencha o formulário.

Artigos Recentes