S3QL

S3QL soutient Amazon S3 ainsi que des serveurs SFTP arbitraires et vous fournit efficacement avec un disque dur de dynamique, capacité infinie qui peut être accessible depuis ne importe quel ordinateur avec accès à Internet.
S3QL fournit, un système qui est conceptuellement impossible à distinguer de tout système de fichiers local standard très complet de fichiers UNIX. En outre, S3QL a des fonctionnalités supplémentaires comme la compression, le chiffrement, la déduplication des données, arbres immuables et snapshots qui le rendent particulièrement adapté pour la sauvegarde et l'archivage en ligne.
S3QL est conçu pour favoriser la simplicité et l'élégance sur la performance et fonctionnalité-fluage. On a pris soin de rendre le code source aussi lisible et utilisable que possible. Détection d'erreur solides et le traitement des erreurs ont été inclus à partir de la première ligne, et est livré avec de vastes S3QL cas de test automatisés pour toutes ses composantes.
Avant un système de fichiers peut être monté, le backend qui tiendra les données doit être initialisé. Cela se fait avec la commande mkfs.s3ql. Ici, nous utilisons le backend Amazon S3 et nikratio-s3ql-seau est le seau S3 dans lequel le système de fichier sera stocké.
mkfs.s3ql s3: // nikratio-s3ql seau
Pour monter le système de fichiers S3QL stockée dans le seau nikratio_s3ql_bucket S3 dans le répertoire / mnt / s3ql, entrez:
mount.s3ql s3: // nikratio-s3ql seau / mnt / s3ql
Maintenant, vous pouvez demander à votre programme de sauvegarde préféré pour exécuter une sauvegarde dans le répertoire / mnt / s3ql et les données seront stockées une S3 Amazon. Lorsque vous avez terminé, le système de fichiers doit être démonté avec
umount.s3ql / mnt / s3ql

Caractéristiques :

• Transparence. Conceptuellement, S3QL est indiscernable d'un système de fichiers local. Par exemple, il prend en charge les liens en dur, liens symboliques, les permissions unix complètes, les attributs étendus et des tailles de fichiers jusqu'à 2 To.
• Taille dynamique. La taille d'un système de fichiers S3QL augmente et diminue de façon dynamique selon les besoins.
• Compression. Avant le stockage, toutes les données peuvent comprimé avec le LZMA, BZIP2 ou algorithme de LZ.
• Cryptage. Après compression (mais avant upload), toutes les données peuvent AES crypté avec une clé de 256 bits. Un montant supplémentaire de checksum SHA256 HMAC est utilisé pour protéger les données contre les manipulations.
• La déduplication des données. Si plusieurs fichiers ont des contenus identiques, les données redondantes seront stockés qu'une seule fois. Cela fonctionne dans tous les fichiers stockés dans le système de fichiers, et même si seulement certaines parties des fichiers sont identiques tandis que d'autres diffèrent.
• Arbres immuables. arbres Directory peuvent être faites immuable, de sorte que leur contenu ne peuvent plus être modifiées en aucune façon que ce soit. Ceci peut être utilisé pour se assurer que les sauvegardes ne peuvent être modifiés après qu'ils ont été créés.
• Copy-on-Write / Snapshotting. S3QL peut répliquer arborescences de répertoires entiers sans utiliser l'espace de stockage supplémentaire. Seulement si l'une des copies est modifié, la partie des données qui a été modifié aura de l'espace de stockage supplémentaire. Ceci peut être utilisé pour créer des instantanés intelligents qui préservent l'état d'un répertoire à différents points dans le temps en utilisant un minimum d'espace.
• haute performance indépendante de la latence du réseau. Toutes les opérations qui ne sont pas écrire ou lire le contenu des fichiers (comme la création de répertoires ou de déplacer, renommer, et la modification des autorisations de fichiers et de répertoires) sont très rapides parce qu'ils sont effectués sans qu'aucune transaction du réseau.
• S3QL atteint cet objectif en économisant l'ensemble du dossier et la structure de répertoire dans une base de données. Cette base de données est mis en cache localement et mis à jour la copie distante asynchrone.
• Support pour les connexions à faible bande passante. S3QL divise le contenu du fichier en blocs plus petits et caches blocs localement. Cela réduit le nombre d'opérations de réseau requis pour les données de lecture et d'écriture, et la quantité de données qui doit être transféré lorsque seules parties d'un fichier sont lues ou écrites.

Quoi de neuf dans cette version:

• Les tentatives pour mettre à jour un système de fichiers qui est déjà à la version la plus récente ne rendent les métadonnées locales copier inutilisable.
• Google noms baquets de stockage contenant des points ne causent plus de problèmes avec la validation du certificat SSL.
• Corrige un crash lors statvfs () est appelée sur un système de fichiers presque vide.
• Il ya un nouveau & quot; & quot swiftks; backend pour OpenStack Swift / serveurs.
• Elimine une condition de concurrence qui pourrait conduire à mount.s3ql se écraser avec un & quot; KeyError dans les collections / abc.py & quot;.
• corrige un plantage pouvant survenir lorsque vous essayez de nettoyer après avoir reçu une erreur de connexion ou du serveur lors du téléchargement d'un objet.

Quoi de neuf dans la version 2.2:

• S3QL utilise maintenant des connexions SSL par défaut et vérifie les certificats de serveur.
• Une condition de concurrence qui a abouti à une perte apparente de métadonnées à distance a été fixé.
• Le backend S3 supprime maintenant plusieurs objets de stockage utilisant une demande, si possible, réduire la latence, le trafic et le nombre de demandes de S3.
• S3QL est maintenant en mesure de détecter les erreurs de serveur et les redirections avant toutes les données a été envoyé au serveur.
• Un nouveau backend 'de Rackspace »qui permet la spécification de la région de stockage d'objets dans l'URL de stockage a été ajouté.
• L'option --compress mount.s3ql permet désormais d'indiquer le niveau de compression.

Quoi de neuf dans la version 1.15:

• Cyclisme de sauvegardes de métadonnées en utilisant le backend locale prend maintenant beaucoup moins de temps.
• Il ne est plus nécessaire que S3QL et Python APSW être liés à la bibliothèque partagée SQLite même.
• Dans mount.s3ql, un crash lors de l'utilisation --metadata-upload-intervalle 0 a été fixé.
• Au lieu de démonter complètement le système de fichiers (et en laissant le point de montage inaccessibles) lorsque les données d'arrière-plan est manquant ou endommagé, S3QL renvoie désormais une erreur et passe en lecture seule opération.

Quoi de neuf dans la version 1.13:

• Cette version corrige un bug qui faisait que les métadonnées malformé à écrire lors de l'utilisation des versions récentes eglibc.
• Il corrige des problèmes lorsque vous essayez d'accéder à un répertoire à la racine du système de fichiers qui a été récemment enlevé avec s3qlrm.
• un soutien ostensible ACL a été supprimé.
• Cette version de meilleures poignées seaux avec des noms DNS non valide.
• Il retente si DNS ne est pas disponible.

Quoi de neuf dans la version 1.11.1:

• Cette version corrige un plantage lors de l'utilisation du backend S3 (régression introduite dans la version 1.11), augmente la taille du système de fichiers minimum rapportée à 1 To, et travaille autour d'un bug df donc la taille est signalé correctement.

Quoi de neuf dans la version 1.11:

• Les métadonnées sur les objets stockés est maintenant divisé en plusieurs champs, de sorte Aucun champ ne est plus de 256 octets. (Cela rend S3QL compatible avec un large éventail de fournisseurs de stockage.) Le backend SWIFT tente une nouvelle fois se il reçoit 5xx codes d'erreur du serveur distant, et ne échoue plus lorsque vous tentez de télécharger des données avec un auth jeton expiré.

Quoi de neuf dans la version 1.10:

• Les S3S, s3cs, et backends de l'ESG ont été supprimés. Utilisez la nouvelle option --ssl avec les S3, S3C, et GS backends place.
• S3QL ne garde la trace des garanties de cohérence pour les différentes backends.
• Le nombre croissant de différents fournisseurs de stockage offrant différentes régions, la redondance et les niveaux de disponibilité rend ce ne est plus possible.
• Le Guide de l'utilisateur contient une nouvelle section, & quot; règles importantes pour éviter de perdre des données & quot;.
• Lecture il est fortement recommandé.

Quoi de neuf dans la version 1.9:

• Cette version permet des heures de fichier ne changent plus lorsque vous changez le système fuseau horaire, correctifs et améliore contrib / benchmark.p, fixe les & quot; Trop de redirections & quot enchaînés; bug, réessaye sur les erreurs de serveur 5xx, et ajoute un support natif pour les serveurs expérimentale OpenStack / SWIFT et support de proxy expérimental.

Quoi de neuf dans la version 1.8:

• A & quot; ValueError: Vous ne pouvez pas vider les valeurs NULL & quot; crash lors de métadonnées du système de fichier a été téléchargé pendant l'activité du système de fichiers lourds a été fixé.
• s3qlcp et liste de répertoire performances pour les très grands répertoires ont été améliorées.
• Une régression de la performance de rm a été fixé.
• -. Blocksize a été renommé --max-obj-taille
• Certains accidents qui se sont produits dans beaucoup concurrente utilisation du système de fichiers ont été fixés.
• python-llfuse 0,37 est maintenant utilisé.

Limites :

• Il ya encore beaucoup de bugs dans le code et vous devriez être prêt à traiter eux. Néanmoins, vous pouvez être raisonnablement confiant que les bugs (bien gênant) ne seront pas en danger vos données stockées.