Semana passada a EMC promoveu a edição de 2011 de seu Fórum, encontro anual de seus executivos, parceiros e clientes para discutir tecnologia da informação, particularmente no que toca a armazenamento de massa. Trata-se, evidentemente, de um evento essencialmente corporativo e, de fato, lá estavam profissionais responsáveis pelo setor de TI de grandes corporações. Portanto o EMC Fórum 2011 dificilmente seria assunto desta coluna.
Mas acontece que este ano o evento foi sobre o “Encontro da nuvem com o Big Data”, tema da palestra de abertura de Sanjay Mirchandani, o principal executivo da área de TI da EMC (veja foto). E foi tão interessante que vale a pena ao menos tomar conhecimento do assunto.
Da nuvem falamos em maio passado, na coluna intitulada “Uma nuvem pessoal” (e quem quiser refrescar a memória a encontrará na seção “Escritos / Coluna Técnicas & Truques” do Sítio do Piropo, < www.bpiropo.com.br >). Trata-se de uma tecnologia que armazena os dados em conjuntos (“nuvens”) de servidores cuja localização o usuário desconhece, pois só tem acesso a eles pela Internet, preferivelmente via conexão de alta taxa (“banda larga”). Bons exemplos de uso de nuvens públicas (onde qualquer um pode armazenar dados) são os serviços prestados pelo Google de armazenamento de agenda, catálogos de endereços e documentos no Google Docs e da Microsoft nos Live Documents ou SkyDrive. Pois é nela que a EMC sugere armazenar os “Big Data”. Mas o que vem a ser isto? A julgar pela designação, tem a ver com a quantidade de dados a serem armazenados. O que é verdade. Porém, mais que isto, tem a ver com o tipo de dados gerados pelos dispositivos tecnológicos modernos.
Do ponto de vista técnico, “Big Data” é “a designação aplicada a conjunto de dados cujo tamanho está além da capacidade das ferramentas usadas correntemente para capturar, gerenciar e processar os dados em um período tolerável” (definição fornecida pela Wikipedia em < http://en.wikipedia.org/wiki/Big_data >). Mas o problema não é apenas o tamanho dos conjuntos de dados (ou arquivos), é também seu tipo. Vamos tentar explicar: pegue o arquivo digital que contém o catálogo telefônico de uma grande cidade com seus milhões de telefones. Evidentemente será incluído na categoria de “Big Data”. Mas ele tem uma característica fundamental que torna seu gerenciamento muito mais fácil: é “estruturado”, subdividido em conjuntos de dados individuais (“registros”) cada um deles obedecendo a um modelo “nome, endereço, telefone” que pode ser desdobrado em “primeiro nome, sobrenome”, “rua, número, bairro” e “código de área, número” que passam a constituir os “campos” dos registros. E são facilmente armazenados e recuperados usando uma base (“banco”) de dados.
Compare isto, por exemplo, com os vídeos armazenados no YouTube. Ou com o estoque de fotos que você deixou no Picasa ou Flickr para delícia e espanto de seus amigos. Com os comentários, filmes e imagens postados nas redes sociais. Ou em um campo, digamos, mais sisudo: com o estoque de imagens de impressões digitais acumulado em uma instituição policial. Ou com as características do DNA de diferentes espécies coletadas por uma instituição científica. Ou ainda com os milhões de minutos de vídeos gerados pelas câmaras de segurança nas grandes cidades. Percebeu? Como criar uma estrutura para isto? Para gerenciá-los não basta lidar com seu tamanho aumentando (brutalmente, às vezes) a capacidade dos dispositivos de armazenamento. É preciso ainda desenvolver aplicativos específicos para recuperá-los. E aí entra todo um novo campo tecnológico. Complexo, porém fascinante.
Achou interessante? Também eu. Mas achei também um pouco preocupante. Isto porque segundo Sanjay em sua palestra, em 2010 o “universo digital” (ou seja, o total de todos os arquivos digitalizados armazenados em todo o mundo) foi estimado em 1,2 ZB (ZetaBytes). Prevê-se que este ano chegue a 1,8 ZB. E, pasmem: em dez anos o total atingirá 35 ZB.
Como? Quanto vale um ZB? Ora, só 1.000.000.000.000.000.000.000 (um sextilhão) de bytes...
 |
| Figura 1 - Clique para ampliar |
B.
Piropo
