Página Inicial



twitter

Facebook

  Notícia
|

 

HADOOP AJUDARÁ A LIDAR COM BIG DATA

05/01/2012 01:00:00

Após quase sete anos de desenvolvimento e ajustes, a plataforma Apache Hadoop, de análise de dados, está pronta para uso em ambiente de produção plena, anunciaram os programadores do software nesta quarta-feira, 04/01.

A equipe do projeto acaba de librerar para uso a versão 1.0 da sua plataforma. "Os usuários podem ter certeza de que este lançamento será apoiado pela comunidade open source", disse o vice-presidente do projecto Apache Hadoop, Arun Murthy. ?Não há mais confusão sobre que versão da Hadoop usar para determinada finalidade.?

Três novas recursos, em especial, ajudaram a de designar essa versão como a 1.0, explicou Murthy. A segurança end-to-end é a principal característica. O uso da Hadoop agora pode ser garantido por meio de uma rede inteira, usando o protocolo Kerberos de autenticação de rede. Como resultado, as empresas ter maior confiança na utilização de implementações Hadoop para dados confidenciais e pessoais.

A segunda característica merecedora de destaque, o webhdfs REST API (representação do estado de transferência de interface de programação de aplicativos), permite interagir com a Hadoop usando tecnologias web fáceis para administradores e programadores, tornando-o aplicável a um maior número de organizações.

Por fim, esta versão é a primeira a funcionar inteiramente HBase, dando aos administradores de banco de dados uma estrutura familiar, de base de dados relacional, para armazenamento de dados.

Os programadores do Lucene, Doug Cutting, e Mike Cafarella, criaram a Hadoop em 2005 como uma implementação do algoritmo MapReduce do Google, técnica usada para análise de dados espalhados por vários servidores diferentes. Cutting viria mais tarde a trabalhar para oYahoo, ajudando a empresa a usar a tecnologia nos seus serviços de busca. Essa implementação acabou por ser distribuída para 40 mil servidores. Desde então, a plataforma Hadoop tem sido apresentada como uma solução para lidar mais facilmente com o armazenamento e a análise de elevados volumes de dados, ou seja como o Big Data.

Embora tenha sido originalmente concebida para auxiliar os serviços de busca de grande porte, a tecnologia está cada vez mais presente nas empresas, diz Murthy. Hoje o projeto tem pelo menos 35 editores de código, e centenas de outros contribuintes.

O uso do Hadoop para análise de dados pode ser particularmente útil para volumes de dados muito grandes em bancos de dados relacionais tradicionais, ou nos casos em que a organização recolhe muitos dados, mas não sabe que análises precisam ser feitas sobre eles.

A JPMorgan Chase, por exemplo, usa a tecnologia na detecção de fraudes e na gestão de risco. O eBay para desenvolver um novo motor de busca para o seu serviço de leilões.

A tecnologia também tem tido um grande apoio comercial. As startups Cloudera, Hortonworks (spin-off da Yahoo) e MapR oferecem todas as distribuições comerciais do software. Já a IBM incorporou a Hadoop na plataforma de análise de dados InfoSphere BigInsights. E até a Microsoft tem uma cópia da Hadoop em execução no seu serviço de cloud computing, o Windows Azure.
 
 
 
 
Fonte: Computerworld

 
Indique esta notícia Indique esta notícia para um amigo

Início Notícias  | Voltar