Jug

Jug est une implémentation de Python du cadre de MapReduce (maintenant une partie standard de Hadoop ), permettant aux développeurs d'écrire du code qui peut fonctionner dans différentes formes de parallélisation.
Cela signifie code qui peut fonctionner en parallèle sur la même machine, ou à travers un cluster de calcul (plusieurs machines).
Jug permet aux développeurs d'organiser le code en petits morceaux, et en sélectionnant où, comment et quand le faire fonctionner.
Même si cela peut être sur le dessus pour les petits sites web et applications, ce comportement peut être très utile dans les applications avec une charge de trafic ou qui traitent de grandes quantités de données.
Jug peut travailler et stocker des données localement via le disque dur, ou il peut utiliser le stockage à distance. Pour le cas plus tard, le Redis base de données est prise en charge

Caractéristiques :.

• stockage de données persistant soutien
• réutilise résultats partiels
• le soutien de simultanéité
• stockage de données local
• stockage de données à distance
• L'état de fonctionnement checker

Ce qui est nouveau dans cette version:

• correctifs de compatibilité Python 3
• fsync (répertoire) dans le fichier backend
• crochets Jug (encore majoritairement sans papiers, mais déjà permettant simplification du code interne)

Ce qui est nouveau dans la version 0.9.7:

• l'utilisation des sous-classes de Fix numpy
• redis Fix URL parsing
• Fix `` shell`` pour les nouvelles versions de IPython
• tomber correctement Retour sur la non-sqlite `` status``

Ce qui est nouveau dans la version 0.9.6:

• décodage plus rapide
• Ajout script cruche exécuter
• Ajouté describe () fonction
• write_task_out Ajouté () fonction

Quoi de neuf dans la version 0.9.1:

• Ajout `` webstatus`` sous-
• bValue Ajouté () fonction
• Correction d'un bug dans `` sous-shell`` (`` value`` ne était pas dans l'espace global)
• Amélioration de l'identité ()
• Correction d'un bug dans l'utilisation tasklets et --aggressive-déchargement
• Correction d'un bug avec tasklets et sommeil jusqu'à / vérification

Ce qui est nouveau dans la version 0.9:

• En présence d'une barrière (), relancez l'jugfile . Cela rend barrière plus facile à utiliser.
• Ajout set_jugdir API publique.
• Ajouté CompoundTaskGenerator.
• Support sous-classement de la tâche.
• Éviter la création de répertoires dans le fichier backend si cela est nécessaire.
• Ajouter jug.mapreduce.reduce (qui imite la fonction interne réduire).

Ce qui est nouveau dans la version 0.8.1:

• redis Fix backend pour la nouvelle version de module client
• Faster magasin de fichiers pour les fichiers volumineux
• Fix `invalidate` avec tasklets
• Installer des tests et de les faire être exécutable
• hachage changé de méthode de calcul. Cela a un cas particulier sur les tableaux de numpy
• (pour la vitesse) et est plus extensible grâce à un crochet de __jug_hash__
• Correction d'un bug avec Tasklet dépendances ne sont pas correctement pris en compte
• coque de sous-Fix dans les nouvelles versions de ipython
• Ajouter __file__ attribut à faux jugmodule

Ce qui est nouveau dans la version 0.8:

• tasklets
• Correction de bogues dans le sommeil, jusqu'à ce que le nettoyage et
• Correction de bogues avec CompoundTask (vous avez besoin pour exécuter cruche exécuter deux fois avant).

Quoi de neuf dans la version 0.8-B0:

• tasklets - Correction de bogues dans le sommeil, jusqu'à ce que et le nettoyage .

Ce qui est nouveau dans la version 0.7.4:

• cas de Fix où ~ / .jug / configrc fait ne existerait pas.
• Imprimer nom d'hôte pour verrouiller fichier sur file_store.
• Refonte mise en œuvre des options.
• Fix tâches de déchargement qui ne ont pas exécuté.
• MapReduce Fix pour l'entrée vide.

Ce qui est nouveau dans la version 0.7.3:.

• Parse ~ / .jug / configrc
• Correction d'un bug avec les temps d'attente.
• Cas particulier d'économie de tableaux numpy.
• Ajouter syntaxe jugdir plus expressif.
• Enregistrer dict_store backend sur le disque.

Quoi de neuf dans la version 0.7.2:.

• fichiers manquants inclus dans la distribution

Ce qui est nouveau dans la version 0.7.1:.

• sommeil jusqu'à ce sous-
• Correction de barrière () et l'interaction de MapReduce.
• amélioration de la documentation.

Ce qui est nouveau dans la version 0.7:

• Mieux commande `` shell``
• Réécriture méthode pour jugfiles de chargement
• Tâches ont une fonction originale accessible `f`

Ce qui est nouveau dans la version 0.6.9:.

• Nouvelle commande à cocher
• load_all () à l'intérieur coquille.

Ce qui est nouveau dans la version 0.5.2:.

• Nouvelle commande `shell`
• Compression dans redis backend.
• Amélioration de la vitesse pour 'invalider' commande.

Ce qui est nouveau dans la version 0.5.1:

• Redis backend
• Dictionnaire dépendances
• L'interface de ligne de commande Changé (commande cruche jugfile ...)

Exigences :

• Python 2.6 ou supérieur