Apache Kafka

Apache Kafka est semblable au moteur Scribe Facebook (si vous êtes familier à elle) et peut être utilisé pour gérer les flux d'activité.

Il fonctionne en permettant aux développeurs de maintenir un ou plusieurs flux d'activité (humaine ou animale).

Ces aliments peuvent être organisées dans les sujets, puis diffusés (publié) à tous les consommateurs abonnés.

Les pièces de Kafka que gérer et publier les aliments sont appelés producteurs.

Kafka est fondamentalement la couche intermédiaire entre les producteurs et les consommateurs, un système complexe qui peut gérer tout type de trafic et de demandes sur tout type d'échelle.

Ceci est parce que Kafka a été conçu pour gérer des architectures de serveurs distribués, permettant aux développeurs d'évoluer leurs systèmes Pub / sous sur les services de cloud computing.

Ce qui est nouveau dans cette version:.

• Un nouveau producteur de Java pour la facilité d'implémentation et des performances améliorées
• Supprimer le soutien de sujet.
• Par configuration du thème de la préférence pour la cohérence sur la disponibilité.
• Scala 2.11 appui et de soutien pour l'abandon Scala 2.8.
• compression LZ4.

Ce qui est nouveau dans la version 0.8.2.1:

• A nouveau producteur de Java pour la facilité d'implémentation et amélioré performance.
• Supprimer le soutien de sujet.
• Par configuration du thème de la préférence pour la cohérence sur la disponibilité.
• Scala 2.11 appui et de soutien pour l'abandon Scala 2.8.
• compression LZ4.

Quoi de neuf dans la version 0.8.0-beta1:.

• outils fixes perf existants
• Fil producteur et consommateur existant afin d'utiliser la nouvelle structure de données de ZK.
• Créer / supprimer chemin de ZK pour un sujet dans un outil d'administration.
• Mise en place d'un contrôleur intégré.

Ce qui est nouveau dans la version 0.7.1:

• Evitez un message dupliqué lors de rééquilibrage des consommateurs
• Support envoi configurable / recevoir la taille du tampon de socket dans le serveur
• JavaAPI ZookeeperConsumerConnectorTest duplique de nombreux tests dans la version de Scala
• Faire # de rééquilibrage des consommateurs réessaie configurable
• SyncProducer doit se connecter hôte et le port ne peut pas se connecter.
• Réduire les messages en double desservies par le consommateur de Kafka pour des sujets non compressés
• Evitez directement l'exploitation forestière stacktrace
• Prenez le temps d'attente lors de rééquilibrage des consommateurs configurable
• Améliorer log4j appender à utiliser kafka.producer.Producer, et le soutien zk.connect | options de broker.list
• Séparez Kafka en miroir dans une application autonome
• producteur de Hadoop doit utiliser un logiciel d'équilibrage de charge

Quoi de neuf dans la version 0.7.0:

• Kafka prend désormais en charge la compression de niveau bloc. Voir wiki de compression pour plus de détails. Actuellement, seul gzip est sup porté.
• Connectez rétention peut maintenant compter sur l'espace (log.retention.size).

Ce qui est nouveau dans la version 0.6:

• bogues corrigés:
• SimpleProducer perdre messages lorsque prise obtient une exception io
• Si le producteur envoie un MessageSet invalide le courtier annexer, corrompant le journal
• ByteBufferMessageSet enregistre erreur au sujet de chercher la taille
• Shutdown Kafka quand il ya toute erreur de disque IO
• Propager serveur toutes les exceptions aux consommateurs
• close () dans SimpleConsumer doit être synchronisé
• Documentation du Code de la consommation
• Améliorer gestionnaire d'événements dans AsyncProducer
• Le Producteur basé gardien de zoo ne supprime pas un courtier mort de sa liste tout en servant une demande de produits
• journaux de consommation erreur pendant près
• Améliorations:
• test JUnit Clean-up
• MessageSet ne met pas en œuvre de Java iterable
• Encoder par défaut pour Kafka log4 appender
• nommer explicitement toutes les discussions
• Refactoriser API publique en Java et API Scala
• Améliorer documentation de l'API pour tous les API publiques
• Supprimer l'API java FileMessageSet
• Test unitaire échouer sur certaines machines Linux
• Créer des sous projets SBT pour perf, exemples, contrib qui utilisent actuellement Ant
• Ajouter JMX pour modifier le niveau de log4j dynamiquement au serveur Kafka
• Mise à niveau vers Zookeeper 3.3.3
• JavaAPI MessageSet n'a pas besoin de mettre en œuvre prise WriteTo
• Nouvelles fonctionnalités:
• Nouvelle API de producteur