Dapper Dataflow Engine

Dapper (Distributed et Programme parallèle exécution Runtime) est un outil pour apprivoiser la complexité de développement pour le cloud à grande échelle et l'informatique en grille, permettant à l'utilisateur de créer des calculs distribués de l'essentiel - le code qui sera EXECUT
Pourquoi Dapper?
Nous vivons à une époque intéressante, où des percées dans les sciences dépendent de plus en plus sur la disponibilité croissante et de l'abondance des ressources de calcul en réseau, banalisés. Avec l'aide du nuage ou de la grille, les calculs qui pourrait tourner pendant des jours sur une machine de bureau célibataire maintenant avoir distribué et / ou formulations parallèles qui peut le taux de désabonnement à travers, dans une affaire d'heures, entrée définit dix fois plus grande sur une centaine de machines . Aussi séduisante que l'idée de la force du nombre peut être, ayant tout matériel physique ne suffit pas - un programmeur doit élaborer le calcul qui sera effectivement exécuté sur elle. Par conséquent, la grande valeur accordée à l'effort humain et la créativité nécessite un environnement de programmation qui permet, et même encourage, expression succincte des calculs distribués, et pourtant dans le même temps ne pas sacrifier généralité.
Dapper, debout pendant parallèles et distribués exécution du programme d'exécution, est un tel outil pour combler les spécifications de haut niveau du scientifique / programmeur qui capturent l'essence d'un programme, avec les mécanismes de bas niveau qui reflètent les réalités désagréables de calcul distribué et parallèle. En vertu de son approche orientée flux de données, Dapper permet aux utilisateurs de coder en Java localement et exécuter à l'échelle mondiale sur le nuage ou de la grille. L'utilisateur écrit d'abord codelets, ou de petits bouts de code qui effectuent des tâches simples et ne sont pas, en elles-mêmes, constituent un programme complet. Ensuite, il ou elle précise comment ces codelets, considérés comme sommets dans le flux de données, transmettre des données à l'autre via les relations de pointe. Le graphe orienté acyclique de flux de données qui en résulte est un programme complet interprétable par le serveur Dapper, qui, après avoir été contacté par les clients des travailleurs à long terme, peut coordonner une exécution distribuée.
Selon le modèle de Dapper, l'utilisateur n'a plus besoin de se soucier des aspects traditionnellement ad-hoc de la gestion du cloud ou de la grille, qui comprennent la manipulation des interconnexions de données et les dépendances, la récupération d'erreurs, de distribuer le code, et à partir des emplois. Peut-être plus important encore, il offre toute une chaîne d'outils et d'exécution basé sur Java pour le cadrage presque tous les calculs distribués à grain grossier dans un format cohérent qui permet un déploiement rapide et le transport facile à d'autres chercheurs.

Caractéristiques :

• Un système de distribution de code qui permet au serveur de transmettre Dapper code de programme requis sur le réseau et avoir des clients de charger dynamiquement. Une conséquence de ceci est que, sauf exécutables externes, mises à jour de programmes doivent Dapper ne se produira sur le côté serveur.
• Une méthode d'intégration sous-flux puissant pour modifier dynamiquement le graphe de flux de données à l'exécution.
• Une exécution dans la vanille Java, un langage que beaucoup sont sans doute familiers avec. Mis à part l'exigence d'une JVM récente et éventuellement Graphviz Dot, Dapper est autonome.
• Un protocole de commande robuste. Le serveur Dapper prévoit un certain nombre de clients à l'échec, à tout moment, et a ré-exécution et de délai politiques personnalisables pour faire face. Par conséquent, on peut démarrer et arrêter (à long terme) des clients sans crainte de mettre l'ensemble du système dans un état incohérent.
• sémantique flexibles qui permettent des transferts de données via des fichiers ou des flux TCP.
• L'interopérabilité avec les pare-feu. Depuis votre nuage locales ou de grille se repose probablement derrière un pare-feu, nous avons conçu une sémantique spéciale pour le streaming des transferts de données.
• termes de la licence libéraux. Dapper est publié sous la licence LGPL pour prévenir la contamination de votre base de code.
• Fonctionnement comme une application embarquée. Un manuel d'utilisation décrit l'API de programmation que les utilisateurs peuvent suivre pour exécuter le serveur Dapper l'intérieur d'une application comme Apache Tomcat.
• Fonctionnement comme une interface utilisateur autonome. Avec lui, on peut exécuter des démonstrations hors-the-shelf et apprendre les concepts de base à partir d'exemples visuels. En suivant un ensemble minimal de conventions, on peut alors regrouper ses propres programmes Dapper que les archives d'exécution, puis obtenir le statut de flux de données en temps réel et informations de débogage.

Quoi de neuf dans cette version:

• La méthode ServerLogic # de closeIdleClients a été modifié afin de mieux correspondre à la notion intuitive de l'utilisateur de l'oisiveté.
• Une option de l'utilisateur pour spécifier le nom d'hôte du serveur a été ajouté.
• internes de réseautage ont été retravaillés pour utiliser les nouvelles API.
• Le processus de construction a été mis à jour pour les versions 32 et 64 bits de Windows compilation croisée.
• Le pimpant. * Hiérarchie a été renommé org.dapper. *.

Ce qui est nouveau dans la version 0.96:

• Ajout de l'abstraction FlowListener, afin que les utilisateurs peuvent désormais métadonnées associé avec les flux de données et de leurs nœuds.
• Correction d'une fuite mémoire dans le serveur Dapper.
• Ajouté balises apiviz de doclet sorte que les relations entre les classes peuvent être mieux visualisées.
• apiviz Ajout de la visualisation des dépendances dans Javadoc.
• Correction d'un petit bogue dans BuildAndTest exécutable.
• Le processus de construction est maintenant entièrement intégré à Apache Ivy. La distribution de source de navires maintenant de plus longues avec le SST. Au lieu de cela, les dépendances sont automatiquement téléchargés; à défaut, on peut télécharger le code source SST, compiler et publier un référentiel local. Voir notice pour plus de détails.
• processus de construction et de mise à jour les étapes redondantes supprimées.
• copyright normalisé et de licence des avis dans tous les fichiers.
• Java 1.6 est maintenant nécessaire pour construire et exécuter.
• processus de changement d'utiliser Apache Ivy, ce qui signifie que les dépendances externes ne doivent plus être livré avec la distribution principale SST construction.
• 'doxygen «cible Ajouté à construire des processus de sorte que les composants natifs peut être documentée.

Quoi de neuf dans la version 0.95:

• Une nouvelle infrastructure de journalisation flexible a été ajoutée
• Initialiseur pour les structures d'exploitation forestière ont été déplacés sur les classes de serveur et client et en pilotes.
• machines à états finis ont été mis à jour pour la nouvelle API entraîné annotation.
• Le code source a été normalisée d'avoir 8 espaces au lieu de tabulations.

Quoi de neuf dans la version 0.94:

• options de ligne de commande pour le client et le serveur sont maintenant disponibles, courtoisie de la bibliothèque Apache Commons CLI.
• Le cycle de vie des processus client est désormais définie comme se terminant lorsque une déconnexion du serveur qui se passe.
• Potence fonctionnalité de génération est passée d'une méthode de membre du OutputHandleResource d'être une méthode statique de CodeletUtilities.
• La classe FlowNodeFactory est utilisé en faveur de l'instanciation directe de FlowNodes.
• Construction de composants natifs a migré vers le CMake.
• L'exploitation forestière a migré vers SLF4J.
• Un README a été ajoutée à toutes les distributions.

Ce qui est nouveau dans la version 0.93:.

• grandement améliorée exemples pédagogiques
• Mise à jour manuelle.
• Ajout routines de proximité dans dapper.codelet.CodeletUtilities pour l'interrogation des ressources.
• Générateur Suppression, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource et FileBatchResource. Ils ont été remplacés par le concept de poignées de données abstraites sous la forme d'HandleEdge, InputHandleResource, OutputHandleResource. Voir le manuel pour les changements.
• dapper.codelet.Resource Mise à jour d'exporter les flux d'entrée et de sortie.

Exigences :

• Java 2 Standard Edition Runtime Environment