Hadoop - Définition
La liste des auteurs de cet article est disponible ici.
Introduction
| Hadoop | |
 | |
| Développeur | Apache Software Foundation |
|---|---|
| Environnements | Multiplate-forme, principalement POSIX. |
| Type | Architecture distribuée |
| Licence | Licence Apache |
| Site Web | hadoop.apache.org |
| modifier | |
Hadoop est un framework Java libre destiné aux applications distribuées et à la gestion intensive des données. Il permet aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Hadoop a été inspiré par les publications MapReduce, GoogleFS et BigTable de Google.
Hadoop a été créé par Doug Cutting et fait, en 2009, partie des projets de la fondation logicielle Apache.
Historique
Hadoop faisait auparavant partie du projet Lucene et de Nutch.
Utilisations
Plusieurs grands noms de l'informatique ont déclaré utiliser Hadoop, comme Facebook et Yahoo.
Architecture
Hadoop Distributed File System
Le système de fichiers distribué d'Hadoop fait partie de ses composants de base.
MapReduce
Hadoop dispose d'une implémentation complète de l'algorithme de MapReduce.
HBase
HBase est une base de données distribuée disposant d'un stockage structuré pour les grandes tables.
Comme BigTable, HBase est une base de données orientée colonnes.
ZooKeeper
ZooKeeper est un logiciel de gestion de configuration pour systèmes distribués, basé sur le logiciel Chubby développé par Google. ZooKeeper est utilisé entre autres pour l'implémentation de HBase.
Hive
Hive est un logiciel d'analyse de données permettant d'utiliser Hadoop avec une syntaxe proche du SQL. Hive a été initialement développé par Facebook.
Pig
Pig est un logiciel d'analyse de données comparable à Hive, mais qui utilise le langage Pig Latin. Pig a été initialement développé par Yahoo!.
Distributions
Une version d'Hadoop est également distribuée par Cloudera, qui propose un service de formation et un support commercial.