Apache Whirr

Les bibliothèques Apache ronflement sont écrits en Java, avec des vermicelles de XML et Python.
Ils ont été écrits et compilés pour fournir une solution unique outil pour travailler avec la pléthore de services de cloud computing et des outils basés sur le cloud-popping out partout sur l'Internet ces jours.
Ces bibliothèques fournissent une interface commune pour interagir avec chacun de ces services / outils, manutention automatiquement les différences entre eux.
La valeur par défaut pour chaque service sont fournis et le développeur doit seulement faire quelques modifications rapides pour obtenir une interface en place et fonctionne acceptés dans les minutes

Caractéristiques :.

Services supportés

• La plupart des composants de la pile Hadoop
• Apache Mahout
• chef
• Puppet
• Ganglia
• ElasticSearch
• Cassandra
• Voldemort
• Hama


• Services peut être déployé sur:
• Amazon EC2
• Rackspace Cloud

Ce qui est nouveau dans cette version:

• Adaptateur pour OpenStack Nuages ​​
• Créé service Kerberos
• scripts Python pour aider Ajouté ssh / scp pour VM
• script Whirr pour Hadoop MRv2 FILS installe qui prend en charge Hadoop-2.0.x et Hadoop 3.x (tronc) branches

Ce qui est nouveau dans la version 0.5.0:

• Sous-tâches:
• Support de multiples versions de ZooKeeper
• Créer ClusterSpec conscients classe de fabrique de BlobStoreContext
• bogues corrigés:
• Connexion avertissement pour les noms de service non reconnu
• Service de ZooKeeper ne devrait autoriser la pénétration aux instances de Zookeeper
• Whirr se bloque lorsque le fichier '$ HOME / .ssh / known_hosts' comprend un identificateur obsolète pour une certaine adresse IP hôte.
• Améliorations:
• Assurez-utilisation plus efficace des ComputeServiceContext
• Ajouter ClusterAction pour l'exécution de script générique
• Améliorer message d'erreur si whirr.instance-modèles exclus de config
• Support de multiples versions de Hadoop
• guides de configuration de mise à jour avec la recette Infos
• délimiter nettement les API des utilisateurs et fournisseurs de services
• Nouvelles fonctionnalités:
• [CDH] Lancer autres services basés sur CDH, pas seulement HDFS et MR
• Soutenir upload archive locale
• Ajouter Voldemort comme un service
• Ajouter ElasticSearch comme un service
• Ajout du support pour Byon

Ce qui est nouveau dans la version 0.4.0:

• Bugs:
• instances devrait être lancé dans l'ordre spécifié dans le modèle.
• [HBase] Test d'intégration échoue.
• Poignée temporisations papillotes meilleurs.
• Les fichiers journaux ne doivent pas être inclus dans archive ou contrôlés par RAT.
• les tests d'intégration CDH et Hadoop sont défaillants.
• NPE pour les instances arrêté sur EC2.

Fonctions
• ressources / install_cdh_hadoop.sh introuvables lors de l'exécution de la CLI.
• Améliorations:
• Les utilisateurs doivent être en mesure de remplacer une propriété arbitraire Hadoop avant le lancement.
• Mise à niveau vers jclouds 1,0-bêta-9.
• Recette pour un cluster HBase.
• Afficher les rôles disponibles au lieu des noms de services lors de l'exécution ./bin/whirr.
• Nouvelles fonctionnalités:
• Permet aux utilisateurs de se connecter en grappes comme eux-mêmes.
• images définies par l'utilisateur de soutien.
• Support scripts fournis localement.
• Ajouter la capacité de détruire une instance de cluster.

Ce qui est nouveau dans la version 0.1.0:

• Sous-tâche:
• Remplissez à obtenir la documentation commencé - obtenir-started.confluence
• Document et mettre en œuvre le processus de libération
• ajouter des clés fichier dans le répertoire de distribution
• Publier artefacts Maven à http://repository.apache.org
• Mise à jour la documentation de démarrage rapide de travailler avec la libération 0.1.0
• Bug:

Commande
• hadoop nuage poussoir invoque création proxy
• Ne nécessite pas l'installation manuelle d'Apache RAT pour compiler
• Fix RAT avertissements en raison de fichiers du site
• Cassandra POM devrait dépendre de haut niveau
• Solution bug 331 en jclouds (Certaines opérations de EC2ComputeService échouent pour des cas à l'arrêt)
• ne autorisons l'accès à des groupes de réseaux définis
• Service de Hadoop est cassé
• Les tests d'intégration ne devraient pas fonctionner sur & quot; mvn install & quot;
• Log4j est absent de la JAR CLI
• Amélioration:
• Créer Ant pour exécuter les tests unitaires EC2
• Support option supplémentaire de groupe de sécurité dans le script hadoop-ec2
• Créer setup.py pour son cloud EC2
• Générer un rapport RAT
• Appliquer source de style de code

Essais
• unitaires et d'intégration (système) séparée
• Mise à niveau vers jclouds 1,0-bêta-6
• Autoriser les positions de script pour être remplacées
• Ajouter démarrage rapide Whirr à README.txt et le site Web (une fois qu'il est en direct)
• Mise à jour POM pour pointer vers Apache RAT 0.8-SNAPSHOT
• Ouvrir les ports 50 010 (50 070) et JobTracker (NameNode) pour le service Hadoop
• Ajouter javadoc noyau
• Créer une usine de service
• Laissez le service Hadoop pour être exécuté sur les serveurs Rackspace Cloud
• Adopter l'interface Java SPI standard
• Mettre en œuvre le service / CDH
• Présentez la cohérence d'appellation pour les fournisseurs de services de cloud computing
• Unify ClusterSpec et ServiceSpec
• découpler paires de clés à partir des fichiers qui les détiennent
• Configuration Utilisez communes pour gérer les spécifications de cluster
• Nettoyer les dépendances de POM
• Nouvelle fonctionnalité:
• Ajout du support pour le stockage EBS sur EC2
• Exécuter et NameNode JobTracker sur les instances EC2 séparées
• Écrire un fournisseur Rackspace nuage
• Ajouter un service de ZooKeeper aux scripts de cloud
• Ajouter un service Cassandra
• Ajouter un CLI
• Groupe:
• Importer du code source initial de Hadoop contrib
• Importer initiale code source Java
• Créer un site web du projet
• Ajouter répertoires cibles à svn ignore
• version Release 0.1.0