Apache Hadoop

Apache Hadoop a été initialement développé par Yahoo et le projet est une combinaison entre les prises en pension ordinaires précédentes Apache Hadoop Core et Apache Hadoop.

Le projet Hadoop a gagné beaucoup de notoriété grâce à ses excellents résultats dans la mise en œuvre d'un système informatique distribué multi-serveur pour traiter d'énormes quantités de données.

Le projet lui-même est en fait de quatre parties. L'une est Hadoop commune, le noyau dite qui permet à tous les autres modules de travailler, le second est son propre système de fichiers - HDFS (système de fichiers distribués Hadoop), le troisième est le cadre de planification de YARN Hadoop, et enfin il y a le système Hadoop MapReduce pour supporter le calcul parallèle.

L'utilisation de ces système de freinage au sol, l'Apache a réussi à créer beaucoup d'autres projets parallèles, comme:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- hbase

- Apache Hive

- Apache Mahout

- Apache Pig

- Spark Apache

- Apache Tez

- Apache ZooKeeper

Tous ces reposent sur le moteur de traitement de données puissant Hadoop ou de ses fonctions de calcul distribué, en intégrant l'un de ses modules d'une manière de leur âme ou l'autre.

Quoi de neuf dans cette version:

• Soutien aux archives de stockage
• Les données transparentes au chiffrement de repos (beta)
• Utilisation DataNode sécurisée sans nécessiter un accès root
• lecteur de Hot swap: support ajouter / supprimer des volumes de noeuds de données sans redémarrer le noeud de données (bêta)
• Prise en charge AES pour le chiffrement de fil plus rapide
• Le soutien aux services d'exécution de longue YARN
• étiquettes de noeud de support pendant la planification
• Support pour les réservations en fonction du temps-ressource dans la capacité Scheduler (beta)
• Global, cache partagé pour les artefacts d'application (beta)
• Support des applications en cours d'exécution en mode natif dans Docker conteneurs (alpha)

Ce qui est nouveau dans la version 2.7.1:

• Soutien aux archives de stockage
• Les données transparentes au chiffrement de repos (beta)
• Utilisation DataNode sécurisée sans nécessiter un accès root
• lecteur de Hot swap: support ajouter / supprimer des volumes de noeuds de données sans redémarrer le noeud de données (bêta)
• Prise en charge AES pour le chiffrement de fil plus rapide
• Le soutien aux services d'exécution de longue YARN
• étiquettes de noeud de support pendant la planification
• Support pour les réservations en fonction du temps-ressource dans la capacité Scheduler (beta)
• Global, cache partagé pour les artefacts d'application (beta)
• Support des applications en cours d'exécution en mode natif dans Docker conteneurs (alpha)

Ce qui est nouveau dans la version 2.7.0:

• Soutien aux archives de stockage
• Les données transparentes au chiffrement de repos (beta)
• Utilisation DataNode sécurisée sans nécessiter un accès root
• lecteur de Hot swap: support ajouter / supprimer des volumes de noeuds de données sans redémarrer le noeud de données (bêta)
• Prise en charge AES pour le chiffrement de fil plus rapide
• Le soutien aux services d'exécution de longue YARN
• étiquettes de noeud de support pendant la planification
• Support pour les réservations en fonction du temps-ressource dans la capacité Scheduler (beta)
• Global, cache partagé pour les artefacts d'application (beta)
• Support des applications en cours d'exécution en mode natif dans Docker conteneurs (alpha)

Ce qui est nouveau dans la version 2.6.0:

• Soutien aux archives de stockage
• Les données transparentes au chiffrement de repos (beta)
• Utilisation DataNode sécurisée sans nécessiter un accès root
• lecteur de Hot swap: support ajouter / supprimer des volumes de noeuds de données sans redémarrer le noeud de données (bêta)
• Prise en charge AES pour le chiffrement de fil plus rapide
• Le soutien aux services d'exécution de longue YARN
• étiquettes de noeud de support pendant la planification
• Support pour les réservations en fonction du temps-ressource dans la capacité Scheduler (beta)
• Global, cache partagé pour les artefacts d'application (beta)
• Support des applications en cours d'exécution en mode natif dans Docker conteneurs (alpha)

Ce qui est nouveau dans la version 2.5.0:.

• Amélioration de l'authentification lors de l'utilisation d'un serveur proxy HTTP
• Un nouvel évier Hadoop Metrics qui permet d'écrire directement à Graphite.
• Spécification pour Hadoop effort de Filesystem Compatible.
• Support pour système de fichiers POSIX attributs étendus.
• OfflineImageViewer pour parcourir un fsimage via l'API WebHDFS.
• améliorations de prise en charge et des corrections de bugs à la passerelle NFS.
• web Modernisé UIs (HTML5 et Javascript) pour daemons HDFS.
• le soutien API REST de YARN soumettre et de tuer des applications.
• l'intégration Kerberos pour le magasin de la chronologie de la FIL.

Ce qui est nouveau dans la version 2.4.0:

• Support pour Access Control Lists dans HDFS
• Prise en charge native pour les mises à niveau dans HDFS
• Utilisation du protocole-tampons pour HDFS FSImage pour les mises à jour opérationnelles lisses
• Prise en charge complète HTTPS dans HDFS
• Support pour le basculement automatique du fil ResourceManager
• Prise en charge améliorée pour de nouvelles applications sur le fil avec l'Histoire Application Server et l'application Timeline serveur
• Soutien aux fortes SLAs dans YARN CapacityScheduler via Préemption

Ce qui est nouveau dans la version 2.3.0:.

• Support de la hiérarchie de stockage hétérogènes dans HDFS
• cache en mémoire pour les données HDFS avec l'administration et la gestion centralisée.
• Répartition simplifiée des binaires MapReduce via HDFS dans YARN cache distribué.

Ce qui est nouveau dans la version 2.2.0:

• YARN - Un système de gestion des ressources à usage général pour Hadoop pour permettre MapReduce et d'autres autres cadres et services de traitement de données
• Haute disponibilité pour HDFS
• Fédération HDFS
• HDFS Snapshots
• Accès NFSv3 aux données dans HDFS

Ce qui est nouveau dans la version 2.1.0-beta:

• HDFS Snapshots
• Support pour exécuter Hadoop sur Microsoft Windows
• la stabilisation de l'API YARN

Ce qui est nouveau dans la version 2.0.3-alpha:

• QJM pour HDFS HA ​​pour NameNode
• planification multi-ressources (CPU et mémoire) pour YARN
• YARN ResourceManager Redémarrer
• Stabilité significative à l'échelle pour YARN (plus de 30.000 noeuds et 14 millions de demandes à ce jour, au moment de la libération)

Ce qui est nouveau dans la version 1.0.0:.

• Une meilleure sécurité
• HBase (ajouter / hsynch / HForceEcriture, et de la sécurité).
• webhdfs (avec un support complet pour la sécurité).
• Performance amélioration de l'accès à des fichiers locaux pour HBase.
• D'autres améliorations de performance, des corrections de bugs et fonctionnalités.

Ce qui est nouveau dans la version 0.20.2:

• buffer serveur RPC d'envoi conserve la taille de la plus grande réponse toujours envoyé.
• bibliothèques C ++ ne construisent pas sur Debian Lenny.
• Certains c ++ scripts ne sont pas chmodded avant l'exécution ant.
• Streaming:. Process fourni des messages d'état sont remplacés tous les 10 seoncds
• IllegalArgumentException quand CombineFileInputFormat est utilisé en tant que tâche InputFormat.
• bogues multiples w / archives Hadoop.
• Autoriser la mise en cache des instances du système de fichiers est désactivé sur une base par exemple.
• synchronisation pour defaultResources Missing in Configuration.addResource.
• GzipCodec ne devrait pas représenter BuiltInZlibInflater comme decompressorType.
• NameNode de HttpServer ne peut pas instancier InetSocketAddress: IllegalArgumentException est jeté
.
• HttpServer dort avec des valeurs négatives.
• NameNode va de plus de mémoire à cause de fuite de mémoire dans ipc Server.
• IPC bug client peut provoquer rpc appel pendre.
• les tests Failing empêchent le reste des cibles de test d'exécution.
• tests de Contrib échouent Clover'ed construire.
• Tests ne fonctionne pas sur 0.20 branche.
• TestStreamingStatus échoue sur 0.20 branche.