Cloud Computing

Ξ 2 comentários

Como funcionam os mega datacenters?

publicado por Cezar Taurion

Ultimamente lemos muita coisa sobre a NSA (National Security Agency) dos EUA estarem acessando servidores dos grandes provedores de serviços na Internet. Ainda muita água vai rolar até que o caso esteja adequadamente esclarecido e saia do campo da especulação, mas o tema me abriu os olhos para um fenômeno que estas empresas criaram, que são os mega datacenters.

Estes imensos mega datacenters são bem diferentes dos tradicionais data centers que conhecemos, mesmo os da maioria dos grandes bancos e industrias. Um mega datacenter tem no minimo 15.000 servidores e custou pelo menos uns 200 milhões de dólares para ser construído.

Eles tem uma caracteristica em comum: automação (leia-se modelo de cloud computing) ao extremo. Podem e escalam massivamente e utilizam poucas pessoas para serem gerenciados. Isto significa que podem adicionar uns mil servidores (ou dezenas de milhares) com um incremento de custo quase negligivel.

Seu modelo de operação vai, na minha opinião, se disseminar pelos demais data centers e incrementar as atenções para o modelo de cloud computing. Os mega datacenters não vão acabar com os data centers tradicionais, pelo menos em um hoorizonte previsivel, pois não foram construidos para workloads de sistemas legados. Foram projetados para workloads tipicos da Internet como o Facebook, Google e outros. Lembrando que cloud é essencialmente uma automação no limite, com software gerenciando toda a operação, detetando e recuperando falhas, gerenciando automaticamente a inclusão ou exclusão de novos servidores, instalando de forma automática novas versões de sistemas operacionais e assim por diante. Um novo servidor é colocado em operação em poucas horas. Seu ritmo de crescimento é fantástico. Cada rodada de entrega pode chegar a 1.000 servidores. Por exemplo o Facebook tinha aproximadamente 30.000 servidores em 2009 e em fins de 2012 ja estava na casa dos 150.000. O Google, por sua vez tinha cerca de 250.000 servidores em 2000, 350.000 em 2005 e em 2010 já chegava nos 900.000. Hoje deve ter mais de um milhão de servidores. Quantas empresas, no mundo tradicional, adquirem lotes de 1.000 servidores de cada vez?

A automação (modelo de cloud) é essencial para operação destes mega datacenters. De maneira geral nos data centers tradicionais existe uma relação de um sysadmin para cada 100 a 200 servidores. No Facebook a relação de de um sysadmin para 20.000 servidores. Isto significa que um sysadmin no Facebook faz o trabalho de 100 a 200 profissionais dos data centers tradicionais. Como gestão da infra é automatizada, vemos que o principal ator neste processo é o software. Pinterest por exemplo, quando tinha 17 milhões de viisitantes únicos por mês mantinha apenas um sysadmin para gerenciar sua nuvem. Custo de pessoal nos mega datcenters nem fica entre os Top 5 itens de custo, diferente dos data centers tradicionais.

Os serviços prestados por estes mega datacenters e sua economia de escala permitem a criação de novos negócios, inviáveis no modelo tradicional de investimentos upfront. Um exemplo é o Netflix, que gerencia mais de 36 milhões de usuários de video streaming em nuvem publica. Só no primeiro trimestre deste ano entraram mais 3 milhões de novos usuários. Outras empresas típicas do mundo Internet só puderam crescer da forma que cresceram usando a economia de escala proporcionada pelos mega datacenters, como o Instagram, Zynga, FourSquare e Pinterest. O Pinterest é um case interessante. Passaram de 20 terabytes de dados armazenados para 350 em apenas sete meses, usando uma cloud em um mega datacenter. No modelo tradicional de aquisição de servidores fisicos seria absolutamente inviável conseguir esta expansão em tempo hábil.

Os investimentos em sua criação são fora da curva. Algumas estimativas apontam que os custos de construção de alguns deste data centers são fabulosos. Por exemplo, os mega datacenters do Facebook custaram 210 milhões de US$ no construído no estado americano do Oregon, chegando 450 e 750 milhões nos outros novos dois no estado de North Caroline. O da Apple no Oregon custou 250 milhões de US$. Google não fica atrás: 300 milhões no mega datacenter em Taiwan e 1,9 bilhão no estado de Nova York. A Microsoft 499 milhões no seu mega data center na Virgina e a NSA, agencia de segurança nacional do governo americano está construindo um mega datacenter de 2 bilhões de dólares no estado de Utah. A grandiosidade deste super-secreto data center, voltado para segurança, defesa cibernética e talvez algo mais, pode ser visto em detalhes neste artigo.

Bem, para que estes mega datacenters são criados? Basicamente para atender ofertas de cloud publicas e de serviços Internet diretos ao consumidor (B2C). Os investimentos em capex dos mega provedores de cloud é imenso. Estima-se, por exemplo, que o capex do Google alcance o patamar do um bilhão de dólares por trimestre.

Interessante que os mega datacenters estão criando um novo setor na industria de TI. De maneira geral eles não compram servidores dos fornecedores tradicionais, mas utilizam outras fontes, baseados em designs próprios e montagem efetuada em empresas chinesas, como a Quanta Computer. Quanta, por exemplo, fornece 80% dos servidores do Facebook e é um dos principais fornecedores do Google. Este modelo leva a uma mudança de paradigma. Para os mega datacenters é muito mais barato trocar de servidor que consertá-lo e assim em vez de comprar máquinas com indice elevados de MTBF (Mean Time Between Failures) preferem máquinas baratas e descartáveis. Deu problema, o software de automação simplesmente coloca o servidor em pane fora do ar e reconecta o serviço em outro, sem intervenção humana. Por outro lado, este é um do motivos atuais que este modelo não pode ser aplicado 100% no data centers tradicionais: o software que roda em cima deles, como os serviços publicos do Google, foram desenhados para operarem em perfeita integração com o software de automação. Muito diferente de um ambiente corporativo onde um SAP não foi projetado para trabalhar de forma integrada a servidores de nenhum fabricante.

Os mega datacenters adotam a fórmula mágica de cloud: virtualização + padronizacão + automação. A padronização facilita esta substituição, pois cada caixa é igual a outra. A mesma versão do sistema operacional e mesma versão do software publico está operando em todas as máqunas.

Recentemente o Facebook abriu sua caixa preta. Descreveu que adota cinco tipos de servidores, um para cada atividade specifica. Basicamente ele divide seus servidores em cinco tipos: os que atendem carga Web, database, Hadoop, Haystack e Feed. Cada um destes serviços demanda configurações diferentes. Por exemplo, um servidor que manuseia fotos e videos precisa de mais memória que capacidade computacional. Vale a pena ler este artigo que descreve como o Facebook funciona internamente:.

Os mega datacenters representam o fenômeno da consumerização para o modelo tradicional de data centers. Compram maquinas em volumes gigantescos e estão redefinindo a industria de servidores base Intel. Um estudo da Intel mostra que em 2008 75% dos processadores Intel fabricados para serviodres eram destinados aos três grandes, IBM, HP e Dell. Hoje estes 75% estão ditribuidos entre oito fabricantes e curiosamente Google já é o quinto “fabricante” de servidores do mercado. Realmente, estamos vivenciando uma disrupção e indiscutivelmente que o modelo de cloud compuing tem muito a ver com estas transfomações na industria.

  •  
  •  
  •  
  •  
  •  
  •  
  •  

Compare preços de Uber, 99 e Taxi

Minimum Way

Autor

Cezar Taurion é head de Digital Transformation da Kick Ventures e autor de nove livros sobre Transformação Digital, Inovação, Open Source, Cloud Computing e Big Data.

Cezar Taurion

Comentários

2 Comments

  • Uma visão brilhante das mudanças de estado em TI e uma apresentação muito bem fundamentada do panorama tecnológico da Megacomputação. . Aplausos!

You must be logged in to post a comment.

botão emergência ransomware (1)

Busca

Patrocínio

Publicidade




Siga-nos!

Newsletter: Inscreva-se

Para se inscrever em nossa newsletter preencha o formulário.