Hadoopy

Il est essentiellement une bibliothèque Python pour MapReduce écrit en Cython

Caractéristiques :.

• l'interface similaire à celle de l'API Hadoop (design patterns utilisables entre les interfaces Python / Java)
• la compatibilité générale avec Dumbo pour permettre aux utilisateurs de basculer d'avant en arrière
• Utilisable sur des clusters Hadoop sans Python ou un accès administrateur
• la conversion et la transformation rapide
• Restez petite et bien documenté
• Soyez transparent avec ce qui se passe
• programmes de poignée avec .so compliquées, de ctypes et extensions
• Le code écrit pour hack capacité
• Accès HDFS simple (par exemple, la lecture, l'écriture, ls)
• Support (et non reproduire) le grand écosystème Hadoop (par exemple, oozie, ronflement)
• parallélisation d'emploi automatisé 'auto-oozie' disponible dans le projet de flux de hadoopy (maintenue hors de la branche)
• l'exécution locale de l'emploi non modifiée de MapReduce avec launch_local
• les fichiers de lecture / écriture de séquences de TypedBytes directement à HDFS de python (de readtb, writetb)
• Permet d'imprimer à stdout et stderr dans des tâches Hadoop sans causer de problèmes (utilise la technique «tuyau saut ', les deux sont disponibles dans le stderr de la tâche)
• Travaux sur les clusters sans aucune installation supplémentaire, Python, ou toutes les bibliothèques Python (utilise PyInstaller qui est inclus dans cet arbre source)
• Fonctionne sur OS X
• chemin critique est en Cython
• Accès HDFS (Simple readtb et ls) à l'intérieur Python, même à l'intérieur des emplois exécutant
• interface de test unitaire
• Rapports à l'aide d'état et de compteurs (et imprimer des états! Pas besoin d'avoir peur d'eux dans Hadoopy)
• Prise en charge des modèles de conception dans le livre Lin & Dyer
• Typedbytes support (très rapide)
• le soutien de oozie

Exigences :

• Cython 0,13 ou supérieur