Apache Hive

Apache Hive a d'abord été développé comme un Hadoop sous-projet pour fournir aux administrateurs Hadoop avec un facile à utiliser, langage de requête compétents pour leurs données.
Pour cette raison, la ruche a été développé à partir du début à travailler avec d'énormes quantités d'information pour chaque requête et est parfaitement adapté pour les grandes bases de données à grande échelle et des milieux d'affaires.
Des outils sont disponibles pour charger facilement, l'extraction et la transformation des données, tandis que les structures de données personnalisées peuvent être imposés à un large éventail de formats de données.
Comme il est un projet Hadoop HDFS liés et HBase projets sont également pris en charge automatiquement.
HiveQL est probablement la meilleure partie du projet, fournissant un langage de requête simple, innovante et efficace, tout en étant capable de gérer les mappeurs et réducteurs dans les situations où la syntaxe SQL natif ne peut pas obtenir les données souhaitées.

Ce qui est nouveau dans cette version:

• Soutien des sous-requêtes non corrélées à la clause WHERE
• Ajouter NULL DEFINED AS ramer spécification FORMAT
• Créer en base de données / de chute doit remplir des entrées / sorties et de vérifier la concurrence et la permission de l'utilisateur
• échelle du soutien de spécification et de précision de type Hive décimal
• Qu'il y ait Tez
• Une fonction qui comprend la position de l'élément dans le tableau
exploser
• Ajouter un type de données CHAR
• Créer recueillir UDF et de faire évaluateur réutilisables
• Elargir interfaces fiche écrivain et ORC du lecteur / enregistreur de fournir des statistiques
• Mettre en place des statistiques fournissant écriture et de lecture interfaces SIO
• Annoter arbre opérateur ruche avec des statistiques de Metastore
• Fournir des statistiques de colonne de niveau de bande en ORC
• Support des sous-requêtes: interdire l'imbrication des sous-requêtes
• Support des sous-requêtes: permettre expressions de sous-requête dans la clause ayant
• soutien des sous-requêtes: plus de tests
• Natif Parquet de soutien dans la ruche
• ruche devrait être en mesure de sauter tête et pied de lignes lors de la lecture fichier de données pour une table
• Ajouter DATE, TIMESTAMP, DECIMAL, CHAR, VARCHAR types soutenir dans HCAT
• Utilisez la carte-indicateur de jointure pour mettre en cache résultat intermédiaire
• Ajouter UDF pour calculer la distance entre les coordonnées géographiques

Ce qui est nouveau dans la version 1.2.0:

• Soutien des sous-requêtes non corrélées à la clause WHERE
• Ajouter NULL DEFINED AS ramer spécification FORMAT
• Créer en base de données / de chute doit remplir des entrées / sorties et de vérifier la concurrence et la permission de l'utilisateur
• échelle du soutien de spécification et de précision de type Hive décimal
• Qu'il y ait Tez
• Une fonction qui comprend la position de l'élément dans le tableau
exploser
• Ajouter un type de données CHAR
• Créer recueillir UDF et de faire évaluateur réutilisables
• Elargir interfaces fiche écrivain et ORC du lecteur / enregistreur de fournir des statistiques
• Mettre en place des statistiques fournissant écriture et de lecture interfaces SIO
• Annoter arbre opérateur ruche avec des statistiques de Metastore
• Fournir des statistiques de colonne de niveau de bande en ORC
• Support des sous-requêtes: interdire l'imbrication des sous-requêtes
• Support des sous-requêtes: permettre expressions de sous-requête dans la clause ayant
• soutien des sous-requêtes: plus de tests
• Natif Parquet de soutien dans la ruche
• ruche devrait être en mesure de sauter tête et pied de lignes lors de la lecture fichier de données pour une table
• Ajouter DATE, TIMESTAMP, DECIMAL, CHAR, VARCHAR types soutenir dans HCAT
• Utilisez la carte-indicateur de jointure pour mettre en cache résultat intermédiaire
• Ajouter UDF pour calculer la distance entre les coordonnées géographiques

Ce qui est nouveau dans la version 1.1.0:

• Soutien des sous-requêtes non corrélées à la clause WHERE
• Ajouter NULL DEFINED AS ramer spécification FORMAT
• Créer en base de données / de chute doit remplir des entrées / sorties et de vérifier la concurrence et la permission de l'utilisateur
• échelle du soutien de spécification et de précision de type Hive décimal
• Qu'il y ait Tez
• Une fonction qui comprend la position de l'élément dans le tableau
exploser
• Ajouter un type de données CHAR
• Créer recueillir UDF et de faire évaluateur réutilisables
• Elargir interfaces fiche écrivain et ORC du lecteur / enregistreur de fournir des statistiques
• Mettre en place des statistiques fournissant écriture et de lecture interfaces SIO
• Annoter arbre opérateur ruche avec des statistiques de Metastore
• Fournir des statistiques de colonne de niveau de bande en ORC
• Support des sous-requêtes: interdire l'imbrication des sous-requêtes
• Support des sous-requêtes: permettre expressions de sous-requête dans la clause ayant
• soutien des sous-requêtes: plus de tests
• Natif Parquet de soutien dans la ruche
• ruche devrait être en mesure de sauter tête et pied de lignes lors de la lecture fichier de données pour une table
• Ajouter DATE, TIMESTAMP, DECIMAL, CHAR, VARCHAR types soutenir dans HCAT
• Utilisez la carte-indicateur de jointure pour mettre en cache résultat intermédiaire
• Ajouter UDF pour calculer la distance entre les coordonnées géographiques

Ce qui est nouveau dans la version 1.0.0:

• Soutien des sous-requêtes non corrélées à la clause WHERE
• Ajouter NULL DEFINED AS ramer spécification FORMAT
• Créer en base de données / de chute doit remplir des entrées / sorties et de vérifier la concurrence et la permission de l'utilisateur
• échelle du soutien de spécification et de précision de type Hive décimal
• Qu'il y ait Tez
• Une fonction qui comprend la position de l'élément dans le tableau
exploser
• Ajouter un type de données CHAR
• Créer recueillir UDF et de faire évaluateur réutilisables
• Elargir interfaces fiche écrivain et ORC du lecteur / enregistreur de fournir des statistiques
• Mettre en place des statistiques fournissant écriture et de lecture interfaces SIO
• Annoter arbre opérateur ruche avec des statistiques de Metastore
• Fournir des statistiques de colonne de niveau de bande en ORC
• Support des sous-requêtes: interdire l'imbrication des sous-requêtes
• Support des sous-requêtes: permettre expressions de sous-requête dans la clause ayant
• soutien des sous-requêtes: plus de tests
• Natif Parquet de soutien dans la ruche
• ruche devrait être en mesure de sauter tête et pied de lignes lors de la lecture fichier de données pour une table
• Ajouter DATE, TIMESTAMP, DECIMAL, CHAR, VARCHAR types soutenir dans HCAT
• Utilisez la carte-indicateur de jointure pour mettre en cache résultat intermédiaire
• Ajouter UDF pour calculer la distance entre les coordonnées géographiques

Quoi de neuf dans la version 0.8.1:

• Outils pour permettre extrait de données facile / transformation / chargement (ETL).
• Un mécanisme d'imposer la structure sur une variété de formats de données.
• L'accès aux fichiers stockés directement dans Apache HDFS (TM) ou dans d'autres systèmes de stockage de données tels que hbase (TM).
• exécution de la requête via MapReduce.

Quoi de neuf dans la version 0.8.0:

• Outils pour permettre extrait de données facile / transformation / chargement (ETL)
• Un mécanisme pour imposer la structure sur une variété de formats de données
• L'accès aux fichiers stockés directement dans Apache HDFS (TM) ou dans d'autres systèmes de stockage de données tels que hbase (TM)
• exécution de la requête via MapReduce

Ce qui est nouveau dans la version 0.7.1:

• Bugs:
• Exception sur les fenêtres lorsque vous utilisez le pilote JDBC. & quot; IOException:. Le système ne peut pas trouver le chemin d'accès spécifié & quot;
• les scripts de création de schéma sont incomplètes car elles laissent des tables qui sont spécifiques à DataNucleus.
• Améliorations:
• Améliorer les messages d'erreur divers.
• Retour / mineures les numéros de version corrects majeur pour JDBC Hive pilote.
• Ajouter la mise en œuvre sur la base HivePreparedStatement-type de données en cours de HIVE pris en charge.
• Tâches:
• Une ruche dans Maven.
• Fournir Metastore scripts de mise et schémas par défaut pour PostgreSQL.

Ce qui est nouveau dans la version 0.7.0:

• Nouvelle fonctionnalité:
• infrastructure d'autorisation pour la ruche
• Mettre en œuvre indexation dans la ruche
• Ajouter refléter () UDF pour l'invocation de réflexion de méthodes Java
• Hive TypeInfo / ObjectInspector au soutien de l'Union (en dehors de struct, tableau et carte)
• Mettre en œuvre
de GenericUDF
• Patch pour support ayant clause dans la ruche
• Suivre les jointures qui sont en cours de conversion à la carte-rejoindre automatiquement
• fréquence des appels et la durée paramètres pour HiveMetaStore via JMX
• Maintenir LastAccessTime dans le Metastore
• Amélioration:
• Fournir option pour exporter un en-tête
• Soutien pour la sélection distincte sur deux ou plusieurs colonnes
• Décrire la sortie de table / de partition étendue est cryptique
• manquant certaines fonctionnalités Jdbc comme getTables, getColumns et HiveResultSet.get * méthodes basées sur le nom de la colonne.
• Tapping journaux provenant de processus enfants
• Support filtre à pile sur des tables non-indigènes
• Remplacer dépendances sur HBase obsolète API
• Ajouter queryid tout en verrouillant
• Mise à jour transident_lastDdlTime seulement si non spécifié
• Ajouter plus d'informations de débogage pour le verrouillage ruche
• HiveInputFormat ou CombineHiveInputFormat synchroniser toujours blocs de rcfile deux fois
• Afficher le temps de la tâche locale prend
• Créer une nouvelle instance de ZooKeeper lorsque le verrouillage de réessayer, et plus d'informations pour le débogage
• Ajouter une option pour exécuter la tâche de vérifier la carte-join possibilité en mode non-locale
• Plus de débogage pour verrouiller
• Ajout d'une option dans des inserts de partitions dynamiques pour renvoyer une erreur si 0 partitions sont créées
• Bugs:
• & quot; LOAD DATA LOCAL INPATH & quot; échoue lorsque la table contient déjà un fichier du même nom
• NULL est pas manipulé correctement dans la
• HiveInputFormat.getInputFormatFromCache & quot; & quot hirondelles; exception cause en jetant IOExcpetion
• Ajouter progrès dans rejoindre et groupby
• UDAF simples avec plus de 1 paramètre accident sur ligne vide requête
• champ UDF () ne fonctionne pas
• inserts de partitions dynamiques gauche fichiers vides non nettoyés dans Hadoop 0,17 mode local
• Passer contre mise à jour lorsque RunningJob.getCounters () retourne null

Ce qui est nouveau dans la version 0.5.0:.

• Laissez utilisateur de spécifier serde pour scripts personnalisés
• Ajouter UDF UNHEX.
• Supprimer importation lzocodec de FileSinkOperator.
• NullPointerException du pilote lors de l'appel sans getResults première compilation.
• Amélioration des performances pour rcfile et ColumnarSerDe dans la ruche.