Pcompress

Pcompress est un utilitaire open source en ligne de commande la compression parallèle, la décompression et la déduplication, en divisant les données d'entrée en morceaux.
Pcompress dispose Delta compression, l'option fixe de bloc, la compression de métadonnées, le support de plusieurs algorithmes, y compris LZMA, LZMA-multithread, PPMD, Bzip2 ou LZ4, l'intégrité des données fort, filtres, Matrice de transformation, le cryptage, l'authentification des messages, les métadonnées, le traitement se chevauchent, la coutume allocateur, le mode solide, rembourrage, et beaucoup plus

Quoi de neuf dans cette version:.

• Ce est une version majeure avec le soutien archivage basée sur libarchive. Des techniques de pointe sont utilisés pour détecter les types de fichiers et d'utiliser des algorithmes appropriés pour comprimer mieux. Filtres comme PackJPG pour Jpegs et Dispack pour les exécutables sont utilisés pour améliorer compressibilité. Quelques heuristiques permettent de détecter des données déjà compressées et évite des étapes de compression coûteuses. entrées d'archive sont également classés à se regrouper contenu connexe et réaliser une meilleure compression. limites fendues de données pour plusieurs threads parallèles sont déterminées à partir de type de fichier et les changements de hachage de roulement. techniques de mmap et Zero-Copy sont utilisés en interne autant que possible pour améliorer les performances. Quelques optimisations ont également été réalisées pour réduire l'utilisation de mémoire. Usage a été simplifiée avec la plupart des caractéristiques automatiquement configurés en fonction du niveau de compression.
• Avec ces changements Pcompress peut agir comme un archiveur à part entière, comme tar ou cpio et offrir un meilleur taux de compression et une meilleure performance que le mode de compression de fichier unique. Pcompress compare très favorablement à d'autres grands services publics d'archivage.

Ce qui est nouveau dans la version 2.4:

• Cette version corrige plusieurs problèmes, y compris certains accidents coin de cas et un couple de débordements de tampon.
• déduplication des données peut maintenant être fait en utilisant des blocs aussi petits que 2 Ko, fournissant un rapport de déduplication beaucoup plus élevé que ne importe quel autre logiciel de déduplication.
• performances de déduplication à base de similarité a été amélioré.
• précision de détection de mémoire libre a également été améliorée.

Ce qui est nouveau dans la version 2.3:

• Cette version corrige quelques bugs et apporte plusieurs améliorations de l'efficacité et la performance.
• L'efficacité de détection pour similarité similitude repose quasi-exacte déduplication a été amélioré.
• A les mêmes exigences de mémoire de temps pour l'indice a été réduit.
• Précision de partitionnement des données entre les threads a été amélioré.
• Chunking et performances d'indexation ont été améliorées et le calcul KMV Sketch est maintenant plus précis.
• Ce communiqué se déplace toutes les fonctionnalités de base dans une bibliothèque partagée en vue d'une interface API qui sera présenté dans les prochaines versions.

Ce qui est nouveau dans la version 2.2:.

• Ce est principalement une version de correction de bogues
• Il corrige quelques accidents avec entrée invalide et construire problèmes sur Debian6 et processeurs âgées non-SSE4.
• Le correspondant de similarité basée Min tas de Delta encodage a été améliorée et rendue plus rapide et plus précis.
• Précision du évolutive sectorielle déduplication globale a été améliorés pour être supérieur à 95%.
• Plus de tests unitaires ont été ajoutés.

Ce qui est nouveau dans la version 2.1:.

• Cette version ajoute des corrections de bugs et améliorations des performances de nombreux
• Précision à trouver les doublons dans Dedupe mondial a été amélioré.
• SHA256 est maintenant l'algorithme de hachage de bloc par défaut pour la déduplication, avec la possibilité de changer séparément à partir du hachage de vérification de morceau.
• Dans l'ensemble, de nombreuses améliorations de performance ont été réalisés, avec un meilleur parallélisme, plus SSE vectorisation, et le tri plus rapide et l'amélioration de la manutention segment de fichier de liste de hachage, résultant dans une plus petite I / O et moins accès aléatoires.
• Bugs dans le calcul en mémoire taille de l'index a été fixé pour éviter les débordements de mémoire vive et l'échange sur le disque.