Apache Flume

Apache Flume a été développé comme un système intermédiaire qui collecte les journaux d'une application et le remet à l'autre.
Il devrait fonctionner avec la plupart des applications et les développeurs Java devraient rassurez-vous, Flume protégée contre la perte de données et l'échec de service.
Les données du journal est diffusé en temps réel par l'intermédiaire de systèmes à tolérance de panne avec le soutien de nombreux mécanismes de basculement et de rétablissement.
Parce Flume court d'un emplacement central, les développeurs peuvent facilement gérer et exploiter également dans ses ressources pour les statistiques et analytiques fins.
Une fonctionnalité cachée de Flume est son système réel »de données agnostique". Cela signifie que vous pouvez facilement basculer la source d'un flux de données à partir d'une sortie du journal à rien d'autre et utiliser Flume à l'information globale en toute sécurité à partir de divers types de services.
Ceux-ci peuvent être des messages e-mail, flux de médias sociaux, le trafic réseau, et ainsi de suite

Quoi de neuf dans cette version:.

• Retrait SSLv2Hello provoque Java 6 clients pour briser
• Activer SSLv2Hello Avro Source et NettyAvroRpcClient
• Activer SSLv2Hello pour HttpSource
• Ajout dev-soutien aux src archive
• Test unitaire TestHTTPSource.java échoué avec IBM JDK 1.7
• HTTP Source devrait être en mesure de bloquer un ensemble prédéterminé de protocoles.
• HTTPS tests échouent sur Java 6
• Laissez configuration des protocoles activés dans la source Avro et le client RPC

Ce qui est nouveau dans la version 1.5.2:

• Retrait SSLv2Hello provoque Java 6 clients pour briser
• Activer SSLv2Hello Avro Source et NettyAvroRpcClient
• Activer SSLv2Hello pour HttpSource
• Ajout dev-soutien aux src archive
• Test unitaire TestHTTPSource.java échoué avec IBM JDK 1.7
• HTTP Source devrait être en mesure de bloquer un ensemble prédéterminé de protocoles.
• HTTPS tests échouent sur Java 6
• Laissez configuration des protocoles activés dans la source Avro et le client RPC

Ce qui est nouveau dans la version 1.5.0:

• Nouvelle fonctionnalité:
• Présentez une sorte de SpillableChannel
• Laissez SpoolDir de passer simplement le nom du fichier qui est la source d'un événement
• Flume Contexte ne supporte pas flotteur ou doubles valeurs de configuration.
• Mise à jour 0.7.0 pour morphlines
• Support utilisateur flume-ng-log4jappender têtes fournis
• ElasticSearch évier pour ES API HTTP
• Ajout d'un évier pour Kite ensembles de données
• Répertoire bobineuses ne devrait pas consommer toujours le fichier le plus ancien en premier.
• Amélioration:
• des exemples de configurations Flume Guide de l'utilisateur doivent fixant
• Faire SpoolDir travailler avec des sous-répertoires
• Les bobineuses source de répertoire doit être en mesure de remplacer ou d'ignorer des caractères malformés
• Poignée de plus grandes charges utiles via SyslogUDPSource
• Mise à niveau de dépendance morphline bibliothèque pour une version 0.5.0
• Réduire les événements en double causées par une réinitialisation de connexion de l'intervalle

Ce qui est nouveau dans la version 1.3.0:

• Ajouté HTTP Post Source
• ElasticSearch évier
• Flume adopter message de Scribe local existant
• Ajout d'une source multiport syslog
• Fichier Manche devrait soutenir cryptage
• Créez un SpoolDirectory Source et le client
• Équilibrer client RPC devrait soutenir retour exponentiel des nœuds défaillants charge
• Dump l'état du compteur de RollingFileSink lorsque l'agent arrête
• Regex Extractor Interceptor

Ce qui est nouveau dans la version 1.2.0:

• Mise en place d'un Memory Durable Canal
• guide du développeur Créé pour Flume NG
• Client SDK
• Mise en œuvre une solution durable FileChannel
• intercepteurs Appliquée (précédemment connu sous le nom Décorateurs) pour Flume 1.x
• Mise en place d'un évier HBase qui soutient l'accès au niveau de la table
• Mise en œuvre Timestamp Interceptor
• asynchrone HBase évier

Exigences :

• Java 1.6 ou supérieur