MooseFS

MooseFS est un système de tolérance de panne, réseau distribué fichier qui propage des données sur plusieurs serveurs physiques qui sont visibles à l'utilisateur comme une ressource & nbsp; pour les opérations de fichier standard les actes que les autres systèmes de fichiers Unix-même.:
& Nbsp; * Une structure hiérarchique (arborescence)
& Nbsp; * attributs de fichier Magasins POSIX (autorisations, fois le dernier accès et de modification)
& Nbsp; * Supporte les fichiers spéciaux (périphériques de bloc et de caractère, les tuyaux et les prises)
& Nbsp; * liens symboliques (les noms de fichiers pointant vers cibler fichiers, pas nécessairement sur MooseFS) et des liens durs (différents noms de fichiers qui se réfèrent aux mêmes données sur MooseFS)
& Nbsp; * Accès au système de fichiers peut être limité en fonction de l'adresse et / ou mot de passe IP
Particularités de MooseFS sont:
& Nbsp; * Haute fiabilité (plusieurs copies des données peuvent être stockées dans des ordinateurs distincts)
& Nbsp; * Capacité dynamique est extensible en fixant de nouveaux ordinateurs / disques
& Nbsp; * Les fichiers supprimés sont conservés pour une période de temps configurable (un niveau de système de fichier "poubelle")
& Nbsp; * instantanés cohérents de fichiers, même si le fichier est en cours d'écriture / accessibles
MooseFS compose de quatre éléments:
& Nbsp; * serveur de gestion (serveur maître) & ndash; une seule machine gérer l'ensemble du système de fichiers, le stockage des métadonnées pour chaque fichier (informations sur la taille, les attributs et l'emplacement (s) de fichiers, y compris toutes les informations sur les fichiers non réguliers, ce est-répertoires, sockets, des pipes et des dispositifs).
& Nbsp; * Les serveurs de données (serveurs de chunk) - un nombre quelconque de serveurs des produits de base de stockage des fichiers de données et leur synchronisation entre eux (si un certain fichier est censé exister dans plus d'une copie).
& Nbsp; * serveur de sauvegarde métadonnées (s) (serveur metalogger) - un nombre quelconque de serveurs, qui changelogs de métadonnées de magasin et télécharger périodiquement principal fichier de métadonnées; afin de promouvoir ces serveurs au rôle du serveur de gestion au moment de maître principal cesse de fonctionner.
& Nbsp; * Les ordinateurs clients qui accèdent (Mount) les fichiers dans MooseFS - tout nombre de machines utilisant le procédé mfsmount pour communiquer avec le serveur de gestion (pour recevoir et modifier les métadonnées) et chunkservers (d'échanger des données de fichiers réels).
mfsmount est basée sur le mécanisme de FUSE (Filesystem in USErspace), afin MooseFS est disponible sur chaque système d'exploitation avec une mise en œuvre de FUSE de travail (Linux, FreeBSD, MacOS X, etc.)
Les métadonnées sont stockées dans la mémoire du serveur de gestion et simultanément enregistré sur le disque (comme un fichier binaire périodiquement mis à jour et immédiatement mis à jour incrémentielles journaux). Le fichier binaire principal ainsi que les journaux sont synchronisés aux metaloggers (si présente).
les données du fichier est divisé en fragments (chunks) avec un maximum de 64MiB chacun. Chaque morceau est lui-même un fichier sur les disques sur les serveurs de données (chunkservers).
Haute fiabilité est atteint en configurant autant de serveurs de données différentes selon qu'il conviendra de réaliser la valeur "objectif" (nombre de copies à conserver) fixés pour le fichier donné.
comment le système fonctionne
Toutes les opérations de fichiers sur un ordinateur client qui a montés MooseFS sont exactement les mêmes comme ils le seraient avec d'autres systèmes de fichiers. Le noyau du système d'exploitation transfère toutes les opérations de fichier au module de FUSE, qui communique avec le processus de mfsmount. Le processus de mfsmount communique à travers le réseau par la suite avec les serveurs de données et le serveur de gestion (serveurs de chunk). L'ensemble de ce processus est totalement transparent pour l'utilisateur.
mfsmount communique avec le serveur de gestion à chaque fois une opération sur les métadonnées est nécessaire:
& Nbsp; * la création de fichiers
& Nbsp; * la suppression de fichiers
& Nbsp; * les répertoires de lecture
& Nbsp; * Lecture et modification des attributs
& Nbsp; * modifier la taille des fichiers
& Nbsp; * au début de la lecture ou l'écriture de données
& Nbsp; * sur tout accès aux fichiers spéciaux sur MFSMETA
mfsmount utilise une connexion directe avec le serveur de données (serveur de bloc) qui stocke le bloc pertinent d'un fichier. Lors de l'écriture d'un fichier, après avoir terminé le processus d'écriture du serveur de gestion reçoit des informations de mfsmount de mettre à jour la longueur d'un fichier et la dernière date de modification.
En outre, les serveurs de données (serveurs de chunk) communiquent entre eux pour répliquer les données en vue d'atteindre le nombre approprié de copies d'un fichier sur des machines différentes.
& Nbsp;
tolérance aux pannes
& Nbsp;
Les commandes d'administration permettent à l'administrateur du système pour spécifier le «but», ou le nombre de copies qui devraient être maintenus, sur un niveau par dossier ou par fichier. Fixant l'objectif à plus d'un et ayant plus d'un serveur de données fournira la tolérance aux pannes. Lorsque les données de fichier est stocké dans de nombreuses copies (sur plus d'un serveur de données), le système est résistant à des défaillances ou des pannes de réseau temporaires d'un serveur de données unique.
Bien sûr, cela ne fait pas référence à des fichiers avec le "but" mis à 1, dans ce cas, le fichier ne existera que sur un serveur de données unique indépendamment du nombre de serveurs de données sont déployés dans le système.
Exceptionnellement fichiers importants peuvent avoir leur objectif réglé sur un nombre supérieur à deux, ce qui permettra à ces fichiers pour être résistant à un bris de plus d'un serveur à la fois.
En général, le réglage du nombre de copies disponibles devrait être un de plus que le nombre prévu de serveurs inaccessibles ou out-of-order.
Dans le cas où un serveur de données unique subit une défaillance ou de déconnexion du réseau, des fichiers stockés en son sein qui a eu au moins deux copies, restera accessible depuis un autre serveur de données. Les données qui est maintenant «en vertu de son but» sera reproduit sur un autre serveur de données accessible à fournir à nouveau le nombre d'exemplaires requis.
Il est à noter que si le nombre de serveurs disponibles est inférieur au "but" fixé pour un fichier donné, le nombre requis de copies ne peut être préservée. Même se il ya le même nombre de serveurs que l'objectif actuellement fixé et si un serveur de données a atteint 100% de sa capacité, il sera incapable de commencer à tenir une copie d'un fichier qui est maintenant en dessous de son seuil de but en raison d'une autre serveur de données mise hors ligne. Dans ces cas, un nouveau serveur de données doit être connecté au système le plus tôt possible, afin de maintenir le nombre désiré de copies du fichier.
Un nouveau serveur de données peut être relié au système à tout moment. La nouvelle capacité sera immédiatement disponible pour une utilisation pour stocker de nouveaux fichiers ou de tenir copies répliquées de fichiers d'autres serveurs de données.
Utilitaires d'administration existent pour interroger l'état des fichiers dans le système de fichiers afin de déterminer si l'un des fichiers sont actuellement en dessous de leur objectif (numéro de série de copies). Cet utilitaire peut également être utilisé pour modifier le réglage de but si nécessaire.
Les fragments de données stockées dans les morceaux sont versionnées, donc re-connexion d'un serveur de données avec ancienne copie des données (comme si elle avait été déconnecté pendant une période de temps), ne causera pas les fichiers de devenir incohérent. Le serveur de données va se synchroniser pour maintenir les versions actuelles des morceaux, où les morceaux obsolètes seront retirés et l'espace libre seront réaffectées à tenir les nouveaux morceaux.
Défaillances d'une machine cliente (qui exécute le processus de mfsmount) ne auront aucune influence sur la cohérence du système de fichiers ou sur les activités de l'autre client. Dans le pire des cas, les données qui n'a pas encore été envoyé à partir de l'ordinateur client manqué peut être perdue.
& Nbsp;
PLATES-FORMES
& Nbsp; MooseFS est disponible sur chaque système d'exploitation avec une mise en œuvre de FUSE de travail:
& Nbsp; * Linux (Linux 2.6.14 et jusqu'à avoir le soutien de FUSE inclus dans le noyau officiel)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
Le serveur maître, serveur metalogger et chunkservers peuvent également être exécutés sur Solaris ou Windows avec Cygwin. Malheureusement sans FUSE il ne sera pas possible de monter le système de fichiers au sein de ces systèmes d'exploitation

Ce qui est nouveau dans cette version:.

< li> Les changements les plus importants sont la manipulation de modules multithread, les limites des objectifs et trashtime dans mfsexport.cfg signal fixe, et une simple vérification des fichiers de métadonnées téléchargés.

Ce qui est nouveau dans la version 1.6.19:

• Des changements importants ont été introduits à la machine de metalogger et metarestore outil pour une meilleure intégrité des métadonnées.
• Une barre de progression de la numérisation dans CS a été ajouté.
• Le nom du maître est maintenant résolu quand une connexion échoue.
• Une nouvelle session est créée lorsque le précédent est perdu.
• Beaucoup d'autres correctifs et améliorations ont été apportées.

Ce qui est nouveau dans la version 1.6.17:

• Dans cette version, nous avons introduit une gestion automatique de la mémoire cache de données .
• Il suffit de mettre à jour tout le serveur maître (pas de changements dans les serveurs de chunk »ou clients de code ont été faites).
• Le mécanisme de cache du noyau a toujours existé, mais jusqu'à présent, le cache est toujours autorisé l'ouverture d'un fichier. Maintenant MooseFS contrôle si pour l'effacer ou non en vérifiant si le fichier était ou non modifié par un autre client. Regardons certains scénarios.
• Premier scénario:
• 1. Un ordinateur lit le fichier X
• 2. Ordinateur B lit le fichier X
• 3. Un ordinateur veut lire le fichier X - nous quittons le cache (le fichier n'a pas été modifié)
• Deuxième scénario:
• 1. Un ordinateur lit le fichier X
• 2. Un ordinateur écrit dans le fichier X
• 3. Un ordinateur veut Tor lire le fichier X - nous quittons le cache (le fichier a été modifié, mais l'ordinateur A connaît ces changements)
• Troisième scénario:
• 1. Un ordinateur lit le fichier X
• 2. Ordinateur B écrit dans le fichier X
• 3. Un ordinateur veut lire le fichier X - ici nous avons à la force pour vider la mémoire cache (parce que les changements ont été faites par l'ordinateur B et l'ordinateur A ne sait pas à leur sujet)
• Dans les environnements réels premier et deuxième scénarios arrivent de loin le plus souvent troisième scénario et ce est pourquoi il est raisonnable de laisser le contenu de la mémoire cache et gagner en performance globale du système.
• Bien sûr, il ya des scénarios moyennes (mais ils existaient aussi avant) comme celui-ci:
• 1. Un ordinateur se ouvre et lit le fichier X complètement (le fichier reste dans le cache)
• 2. Ordinateur B modifie le fichier X
• 3. Un ordinateur relit le fichier X (mais sans fermeture ou la réouverture - il suffit de déplacer à la position 0 et relire)
• Dans cette situation l'ordinateur A obtiendrait les mêmes données que dans l'étape 1, mais même aussi arrivé dans MooseFS avant.
• Une nodatacache d'attribut a également été introduit qui interdit de mettre en cache un fichier. Depuis la version 1.6.17 des fichiers avec nodatacache attribut se comportent comme des fichiers dans les versions plus anciennes de MooseFS. Cet indicateur peut être utilisé avec des outils mfsseteattr, mfsdeleattr et mfsgeteattr.
• Ce drapeau a été ajouté à titre préventif et probablement vous ne aurez pas besoin de l'utiliser. Si après un certain temps, il semble que ce est vraiment inutile, il sera supprimé. Mais si vous trouvez tous les cas / scénario qui exige la désactivation du mécanisme de cache automatique se il vous plaît le partager avec nous.