MDP

MDP (boîte à outils modulaire pour le traitement des données) est une bibliothèque de largement utilisés des algorithmes de traitement de données qui peuvent être combinées selon une analogie de pipeline pour construire des logiciels plus complexes de traitement de données.
Du point de vue de l'utilisateur, MDP consiste en une collection d'algorithmes supervisés et non supervisés apprentissage, et d'autres données des unités de traitement (nœuds) qui peuvent être combinés dans des séquences de traitement de données (flux) et aux architectures de réseau de feed-forward plus complexes. Étant donné un ensemble de données d'entrée, MDP prend soin de la formation ou de l'exécution successivement tous les noeuds dans le réseau. Cela permet à l'utilisateur de spécifier des algorithmes complexes comme une série de simples étapes de traitement des données d'une manière naturelle.
La base d'algorithmes disponibles est en constante augmentation et comprend, pour ne citer que les plus courants, analyse en composantes principales (PCA et NIPALS), plusieurs algorithmes Analyse en Composantes Indépendantes (CUBICA, FastICA, TDSEP, JADE et XSFA), l'analyse des caractéristiques lente, gaussienne classificateurs, Restricted Boltzmann machines, et localement linéaire incorporation.
Un soin particulier a été pris pour faire des calculs efficace en termes de vitesse et de mémoire. Afin de réduire les besoins en mémoire, il est possible d'effectuer l'apprentissage en utilisant des lots de données, et de définir les paramètres internes des noeuds d'être simple précision, ce qui rend l'utilisation de très grandes quantités de données. En outre, le sous-paquetage «parallèle» propose une mise en œuvre en parallèle des noeuds de base et des flux.
Du point de vue du développeur, le MDP est un cadre qui permet la mise en œuvre de nouveaux algorithmes d'apprentissage supervisés et non supervisés facile et simple. La classe de base, 'Node', prend soin de tâches fastidieuses comme type numérique et dimensionnalité vérification, laissant le développeur de se concentrer sur la mise en œuvre de l'apprentissage et phases d'exécution. En raison de l'interface commune, le noeud intègre alors automatiquement avec le reste de la bibliothèque et peut être utilisé dans un réseau avec d'autres noeuds. Un nœud peut avoir plusieurs phases de formation et même un nombre indéterminé de phases. Cela permet la mise en œuvre d'algorithmes qui ont besoin de recueillir des statistiques sur l'entrée entière avant de procéder à la formation proprement dite, et d'autres qui ont besoin d'itérer sur une phase de formation jusqu'à ce qu'un critère de convergence est satisfaite. La capacité de former chaque phase en utilisant des morceaux de données d'entrée est maintenue si les morceaux sont générés avec itérateurs. En outre, la récupération accident est disponible en option: en cas de panne, l'état actuel de l'écoulement est enregistrée pour l'inspection plus tard.
MDP a été écrit dans le contexte de la recherche théorique en neurosciences, mais il a été conçu pour être utile dans un contexte où les données trainable algorithmes de traitement sont utilisés. Sa simplicité sur le côté de l'utilisateur avec la réutilisation des noeuds mis en œuvre en font aussi un outil pédagogique valable

Ce qui est nouveau dans cette version:.

• Python 3 soutien.
• Nouvelles extensions: la mise en cache et le gradient
.
• Un tutoriel amélioré et élargi.
• Plusieurs améliorations et corrections de bugs.
• Cette version est sous licence BSD.

Ce qui est nouveau dans la version 2.5:

• 2009-06-30: Ajout de la détection en ligne de backend numérique , la gestion de python parallèle, backend symeig et backend numérique à la sortie de tests unitaires. Devrait aider à déboguer.
• 2009-06-12:. Intégration des noeuds de coupure et histogramme
• 2009-06-12:. Correction d'un bug dans le flux parallèle (gestion des exceptions)
• 2009-06-09: Correction d'un bug dans LLENode quand output_dim est un flotteur. Merci à Konrad Hinsen.
• 2009-06-05:. Correction de bugs dans l'écoulement parallèle pour plusieurs ordonnanceurs
• 2009-06-05:. Correction d'un bug dans la couche inverse, grâce à Alberto Escalante
• 2009-04-29:. Ajout d'une LinearRegressionNode
• 2009-03-31: PCANode ne plus se plaignent pas quand matrice de covariance a valeurs propres négatives FIF svd == Vrai ou réduire == True. Si output_dim a été spécifié a une variance désiré, valeurs propres négatives sont ignorées. Amélioration de message d'erreur pour SFANode en cas de valeurs propres négatives, nous vous proposons maintenant d'ajouter le noeud avec un PCANode (SVD = True) ou PCANode (réduire = True).
• 2009-03-26: migrés à partir du paquet de fil ancien et le nouveau filetage un. Drapeau ajoutée pour désactiver la mise en cache ordonnanceur de processus. Il ya quelques changements pour rupture personnalisés ordonnanceurs (formation d'écoulement parallèle ou l'exécution ne sont pas affectés).
• 2009-03-25:. Ajouté svn révision soutien suivi
• 2009-03-25: enlevé le drapeau copy_callable pour programmateur, cela est maintenant complètement remplacé par bifurquer l'TaskCallable. Cela n'a aucun effet pour l'interface ParallelFlow pratique, mais personnalisés planificateurs se brise.
• 2009-03-22:. Mise en œuvre mise en cache dans le ProcessScheduler
• 2009-02-22:. MAKE_PARALLEL travaille maintenant complètement en place pour économiser de la mémoire
• 2009-02-12:. Ajouté à conteneurs méthodes FlowNode
• 2009-03-03:. Ajouté CrossCovarianceMatrix avec des tests
• 2009-02-03:. Ajouté IdentityNode
• 2009-01-30:. Ajout d'une fonction d'assistance dans Hinet pour afficher directement une représentation flux HTML
• 2009-01-22:. Autoriser output_dim dans la couche d'être réglé paresseusement
• 2008-12-23:. Ajouté total_variance au nœud NIPALS
• 2008-12-23:. Toujours régler explained_variance et total_variance après une formation en PCANode
• 2008-12-12: modification symrand pour revenir vraiment matrices symétriques (et définitive non seulement positif). GaussianClassifierNode Adapté pour tenir compte de cela. Symrand Adapté pour revenir aussi matrices hermitiennes complexes.
• 2008-12-11: Correction d'un problème dans PCANode (lorsque output_dim a été mis à input_dim la variance totale a été traitée comme inconnue). Paramètre var_part fixe dans ParallelPCANode.
• 2008-12-11:. Ajouté var_part fonction pour PCANode (filtre selon la variance relative à absoute variance)
• 2008-12-04: Correction inexistant de l'axe arg en appel Amax dans le tutoriel. Merci à Samuel John!
• 2008-12-04: Correction de la manipulation de données vide iterator dans ParallelFlow. Également ajouté chèques iterator vides dans le flux normal (soulever une exception si l'itérateur est vide).
• 2008-11-19: modification pca et les ganglions de la SFA pour vérifier les valeurs propres negaive dans les matrices de COV
• 2008-11-19: symeig intégré dans scipy, mdp peut l'utiliser à partir de là maintenant
.
• 2008-11-18:. Ajouté ParallelFDANode
• 2008-11-18:. Mis à jour le train appelable pour ParallelFlow pour soutenir des arguments supplémentaires
• 2008-11-05: Réécriture du code parallèle de marque, prend désormais en charge les structures HINET
.
• 2008-11-03: Réécriture de l'Hinet HTML repesentation créateur. Malheureusement, cette brise aussi l'interface publique, mais les changements sont assez simple.
• 2008-10-29: Arrêter avertissements provenant de processus distants dans ProcessScheduler
• 2008-10-27:. Correction d'un problème avec l'écrasement kwargs dans la méthode init de ParallelFlow
• 2008-10-24:. Fixe pré-entraîné nœuds bogue dans hinet.FlowNode
• 2008-10-20:. Correction d'un bug critique dans l'importation paquet parallèle lorsque pp (bibliothèque de python parallèle) est installé

Exigences :

• Python
• NumPy
• SciPy