Inicialmente, vamos tentar definir rapidamente o que seria um DevOps e sendo assim, concluir a analogia com o DataOps.
DevOps foi popularizado através de uma série de eventos denominados “DevOps Days” que iniciou na Bélgica em 2009. Muitas empresas, utilizam a metodologia de desenvolvimento ágil apenas com o ambiente de desenvolvimento, ignorado outras áreas determinantes como TI e até mesmo a área de negócios. A adoção deste conceito visa justamente reduzir esse GAP integrando o ambiente de desenvolvimento juntamente com o ambiente de operações, enquanto o desenvolvimento deve criar meios rápidos e eficientes de desenvolver softwares, a equipe de operações deve criar os melhores mecanismos possíveis para que esse software funcione em perfeitas condições, o conceito de DevOps é justamente integrar esses dois mundos. Esse conceito gera inúmeros benefícios como padronização de um ambiente de desenvolvimento, automação de diversas tarefas na área de TI e operações em geral. Isso torna muito mais rápido o lançamento de qualquer software, melhora de forma significativa a comunicação entre as áreas unificando os processos.
Um desafio semelhante já existe com dados em grande escala (Big Data). Em vez de os desenvolvedores que escrevem código do aplicativo, no entanto, agora temos cientistas de dados que projetam modelos analíticos para extração de conhecimentos práticos através de dados oriundos de diversas origens, que além de serem extremamente dinâmicos, crescem exponencialmente. O problema é que não importa o quão incrível esses modelos analíticos pode ser, eles não farão nenhum sentido se não puderem ser carregados e unificados no ambiente de produção.
Andy Palmer, diretor executivo e co-fundador da Tamr Inc., com sede em Cambridge, Massachusetts, com maior pormenor em um post recente: “DataOps é um método de gerenciamento de dados que enfatiza a comunicação, colaboração, integração, automação e medição de cooperação entre engenheiros de dados, cientistas e outros profissionais de dados de dados “.
Como acontece com qualquer nova abordagem, os pioneiros ainda não padronizaram totalmente o conceito: Embora Palmer se refere a ele como um “método de gerenciamento de dados,” Bergh chama isso de “método de desenvolvimento analítico” que deve ser supervisionada por um diretor ou dados um diretor de analytics. (A equipe Bergh refere-se a DataOps SAS Analytics.) Em ambos os casos, o objetivo final é acelerar analytics. E, independentemente de como as empresas decidem praticar DataOps, programas de sucesso exigirão conhecimento de TI sob a forma de integração de dados, qualidade de dados, segurança de dados e governança de dados, de acordo com Palmer e Bergh.
Em suma, DataOps, é um conjunto de melhores práticas que visam tornar eficiente a coordenação entre a ciência de dados e as operações de dados, tornou-se assim uma disciplina fundamental para qualquer organização de TI que queira sobreviver e prosperar em um mundo onde inteligência de negócios em tempo real é uma necessidade competitiva.
A quantidade de funções de Big Data são diversas. Big Data não é apenas uma única coisa. Um dia, é a análise preditiva. No dia seguinte, é o que serve de dados móveis. No dia seguinte, é o processamento de transações. São diversas etapas que são realizadas por diversos especialistas que podem impactar na eficiência do processo se não possuirmos uma metodologia integrada.
Além disso, inteligência de negócios ou inteligência de dados estão cada vez mais sendo entregues na forma de aplicativos móveis tanto que o pessoal do comercial, novos negócios ou até mesmo os executivos estão consumindo em tempo real as informações geradas pelo seu BI, quando se dirigem para reuniões. Para muitos, a velocidade de entrega dos dados, devem ser tão rápidas e eficientes quanto o mecanismo de busca do Google.
Se a sua infraestrutura não pode lidar com todos esses diferentes tipos de cargas de trabalho de forma confiável e em tempo real, você não será capaz de dar ao seu negócio (e seus clientes) o que eles precisam e quando precisam. Somente implementando esse conceito dentro de sua organização você pode manter a qualidade de sua infraestrutura totalmente alinhada com a qualidade de seus dados e consequentemente a qualidade analítica dos mesmos.
Sim, a ciência de dados é uma disciplina extremamente importante hoje. Mas essa disciplina só é útil na medida em que ela pode ser executada de forma confiável e eficiente. E para que isso aconteça, você precisa do DataOps para que seus DBAs, Cientistas de Dados, Infraestrutura, BI e Operações estejam em harmonia e focados na mesma direção.
[Crédito da Imagem: DataOps – ShutterStock]