Apache Pig a engendré de la Hadoop projet et est l'un de ses modules Où en charge de fournir un moyen d'analyser les données qu'il traitées et stockées.
Pig utilise un langage de requête personnalisé appelé "Pig Latin" qui est incroyablement facile à apprendre et prend en charge les deux styles relationnels et fonctionnels.
Cela signifie que vous pouvez l'utiliser comme un langage SQL classique bénéficiant de données rejoint et filtres, ou vous pouvez utiliser les fonctionnalités de MapReduce, les cartographes de données et réducteurs.
Par défaut Apache Pig a été conçu pour être utilisé à l'intérieur des installations Hadoop, mais les versions plus récentes lui permettre de fonctionner séparément via une JVM séparée
Ce qui est nouveau dans cette version:.
- moteurs d'exécution enfichables (pour permettre l'exécution de porc sur les moteurs non-MapReduce à l'avenir)
- Le mode Auto-local (à l'emploi avec la petite taille de données d'entrée à courir en cours)
- Fetch optimisation (pour améliorer l'interactivité de grognement)
- compteurs fixes locale en mode
- Aide pour le cache utilisateur pot de niveau
- Soutien à la liste noire et liste blanche des commandes de porcs
- Plusieurs corrections de performances et de fonctionnalités de debuggability
- Quelques modifications d'interface non rétrocompatible ont été introduites dans cette version pour rendre le travail de cochon avec des moteurs non-MapReduce
Quoi de neuf dans la version 0.14.0:
- moteurs d'exécution enfichables (pour permettre porc terme sur la non -mapreduce moteurs à l'avenir)
- Le mode Auto-local (à l'emploi avec la petite taille de données d'entrée à courir en cours)
- Fetch optimisation (pour améliorer l'interactivité de grognement)
- compteurs fixes locale en mode
- Aide pour le cache utilisateur pot de niveau
- Soutien à la liste noire et liste blanche des commandes de porcs
- Plusieurs corrections de performances et de fonctionnalités de debuggability
- Quelques modifications d'interface non rétrocompatible ont été introduites dans cette version pour rendre le travail de cochon avec des moteurs non-MapReduce
Ce qui est nouveau dans la version 0.11.0:
- Cette version inclut DateType type de données, GRADE, CUBE et opérateurs cumulatif, udfs Groovy, l'estimation de réducteur de coutume, tuples basé sur un schéma et de l'intégration HCatalog DDL.
Ce qui est nouveau dans la version 0.9.1:.
- Cette version fonctionne avec Hadoop 0,20
Quoi de neuf dans la version 0.6:
- Ajouté Zebra comme un projet de contrib. Voir http://wiki.apache.org/pig/zebra
- Ajouté UDFContext, donne UDF un moyen de passer d'info d'avant en arrière fin et donne accès à UDFS JobConf dans le backend.
- Ajouté LEFT OUTER JOIN pour le fragment réplique rejoindre.
- Ajout de la possibilité de mettre la priorité d'emploi de Pig Latin.
- Enhanced multi-requête de travailler avec joint dans certains cas.
- gestionnaire de mémoire retravaillé pour réduire de manière significative GC aérien et hors d'échecs de Heap.
- Interface Ajouté accumulateur pour les UDF.
- Plus de 100 corrections de bogues et améliorations.
Exigences :
- 1.6.x de Java ou supérieur
- Hadoop 0.20.x ou plus
Commentaires non trouvées