Rocks Cluster

Rocks Cluster est un projet open source qui offre aux utilisateurs une distribution Linux basée sur le système d'exploitation CentOS et conçu à partir du sol pour offrir un cluster très complet sur une solution de CD pour les clusters Red Hat Linux.
Auparavant connu sous le nom NPACI Rocks Trousse d'outils de cluster, la distribution permet à quiconque de facilement et rapidement construit un cluster Rocks. Il permet également aux utilisateurs expérimentés de créer des grappes de calcul, murs visualisation affichage en mosaïque, et la grille endpoints.Based sur CentOSBeing basé sur la distribution Linux CentOS, qui à son tour est basé sur le système d'exploitation Red Hat Enterprise Linux, la distribution de cluster Rocks fournit une système de prêt pour l'entreprise puissante, stable et fiable qui dispose d'un processus d'installation simple et unique.
Il est livré avec tous les outils nécessaires pour la gestion des clusters, comme PBS, le soutien GM, Maui, ganglions, et plus encore. Vous serez en mesure de déployer, mettre à niveau, l'échelle et gérer des clusters sans trop de tracas. À l'heure actuelle, seul le 64 bits (x86_64) l'architecture est supported.Getting commencé avec Rocks ordre Clusterin à construit un cluster de calcul, les utilisateurs devront créer un cluster bare-bones, démarrer leur front-end avec le / rouleau de démarrage du noyau et ajouter le rouleau de base, OS Rouleau disque 1, disque OS Rouleau 2, et OS Disk 3 images ISO. Pour les clusters vedette plein, vous devriez également ajouter l'Area51, SGE, ganglions, HPC, Python, Perl, et des rouleaux de serveur web.
D'autre part, ceux d'entre vous qui veulent construire un cluster personnalisé devrait choisir parmi Rocks à la carte la sélection de cluster et télécharger les rouleaux / Boot base et du noyau, ainsi que la totalité du système d'exploitation rolls.Bottom lineAll en tout, Rocks Cluster est une distribution basée sur CentOS Linux prêt pour l'entreprise utilisés par des centaines de chercheurs du monde entier à installer leur propre cluster. Il est un système d'exploitation unique, alimenté par une pléthore de technologies open source et conçue pour déployer facilement des groupes gérables

Ce qui est nouveau dans cette version:.

< ul>

Quoi de neuf dans la version 6.1.1:

• La dernière mise à jour des Rocks Codename sable Boa est maintenant publié. Sable Boa est un 64-bit libérer seulement et est basée sur CentOS 6.5 Les rouleaux OS Roches-fournis ont toutes mises à jour appliquées à partir du 14 Avril 2014. Cela inclut les mises à jour pour l'OpenSSL Heartbleed.
• Support pour ZFS a été mis à jour vers la version 0.6.2. Condor est maintenant le rouleau de HTCondor est à la libération 8.0.6
• Aussi inclus est un nouveau rouleau appelé empreintes digitales qui détermine dynamiquement les dépendances de code compilé sur les deux Rocks et les systèmes non-Roches.

Ce qui est nouveau dans la version 5.4:

• Nouvelles fonctionnalités:
• Refonte de l'Avalanche Installer.
• Tout en observant la performance de l'Avalanche installation sur une machine de 1000 noeud, il est devenu évident que nous devons réduire autant de trafic à l'interface que possible. Cela a conduit à remplacer l'installateur basé sur BitTorrent de python avec un installateur BitTorrent inspiration écrite dans le code C. Le C nous permet de mettre plusieurs fichiers dans le réseau peer-to-peer, notamment: product.img (160KB), stage2. img (108MB) et updates.img (98 Mo).
• Pour réduire davantage le trafic vers le frontend, le client envoie désormais paquet prédictions à nœuds installation. Quand un nœud demande pour un paquet, le tracker sur le client envoie une liste d'adresses de noeuds où ce paquet peut être trouvé, ainsi qu'une liste des 9 paquets prochaines ce nœud sera très probablement demander suivante. Lorsque des appareils semblables sont en même temps l'installation, ce qui réduit le trafic tracker par 10x.
• Installation nœuds peuvent être regroupés. Quand un noeud installation demande le tracker pour l'emplacement d'un package et si d'autres nœuds sont en même temps l'installation, le tracker va favoriser les nœuds qui sont dans le même groupe que le nœud demandeur, qui est, la liste le tracker renvoie au nœud d'installation aura nœuds du même groupe que le nœud de l'installation au sommet de la liste. Le regroupement par défaut est par crémaillère, mais il peut être contrôlé par le & quot; cage & quot; attribuer. Par exemple, si vous souhaitez mettre tous les nœuds du rack 0 et rack 1 dans le même groupe (nommé & quot; rouge & quot;), vous devrez exécuter: & quot; roches mettre hôte attr RACK0 RACK1 coop rouge & quot;
.
• On peut spécifier plusieurs trackers et quot; & multiples serveurs de packages & quot ;. Un serveur de package est un noeud qui est & quot; & quot garantie; d'avoir le fichier demandé (par exemple, le frontend).
• Pour chaque fichier téléchargé, une vérification de checksum MD5 est effectuée. Ce détecte le cas où un pair peut avoir corrompu un fichier et empêche le fichier corrompu de se propager dans le réseau peer-to-peer.
• La liaison de canaux pour les nœuds est maintenant contrôlé par la ligne de commande des Rocks.
• configuration de liaison de canaux pour un noeud est stocké dans la base de données et peut être ajouté, supprimé ou modifié avec la ligne de commande Rocks (par exemple, & quot; roches ajoutent hôte lié ... & quot;). Après la liaison de canaux est configuré pour un noeud, il peut être appliqué dynamiquement en exécutant & quot; roches réseau hôte de synchronisation ... & quot;.
• les règles de pare-feu tous les nœuds de sont contrôlés par la ligne de commande des Rocks.
• Les règles pour tous les noeuds sont stockés dans la base de données et peut être ajouté, supprimé ou modifié avec la ligne de commande Rocks (par exemple, & quot; roches ouverte pare-feu hôte & quot ;, & quot; rochers près pare-feu hôte & quot ;, & quot; roches supprimer accueillir pare-feu & quot;). Une fois les paramètres de pare-feu d'un nœud sont modifiés, ils peuvent être appliqués au noeud sur la volée avec & quot; roches pare-feu hôte sync 'hostname' & quot; (Cette commande est également appelée lorsque l'utilisateur exécute & quot; les roches réseau hôte de synchronisation ... & quot;).
• Introduction de & quot; Air Traffic Control & quot;.
• Nous avons développé un service connu sous le & quot; Airboss & quot; qui réside sur le frontend physique (en Dom0) et il permet aux utilisateurs non-root de contrôler leur VM. La motivation de ce service est que libvirt (une API de virtualisation écrit par RedHat qui peut contrôler plusieurs différentes implémentations de virtualisation) assume & quot; & quot racine; l'accès pour contrôler et surveiller les machines virtuelles.
• Le Airboss Rocks est un petit service qui utilise des messages signés numériquement pour donner aux utilisateurs non-root l'accès à leur cluster virtuel (et seule leur cluster virtuel). Le Airboss repose sur des paires de clés publiques / privées pour valider les messages. L'administrateur de la grappe de l'hébergement physique doit émettre une commande unique d'associer une clé publique avec un cluster virtuel particulier. À ce moment, le processus complet de mise sous tension, la mise hors tension et l'installation d'un cluster virtuel peut être contrôlé par l'utilisateur non-root (autorisé).
• En plus de VM contrôle de puissance, nous avons également ajouté la possibilité de joindre à la console d'un VM. Cela permet aux utilisateurs de voir la séquence de démarrage pour un ensemble de VM à partir du & quot; BIOS & quot; les messages de démarrage.

Commandes
• Plusieurs roches ont été ajoutées pour supporter cette fonctionnalité: & quot; roches créent touches & quot; (Pour créer des paires de clés publiques / privées), & quot; roches exposées puissance invitante & quot; (Pour alimenter le haut / bas VM et à installer de force un VM, proche de démarrage PXE une machine physique), et & quot; & quot roches console hôte ouverte; (À joindre à la console d'un VM).
• & quot; greceptor & quot; remplacé par & quot; ChannelD & quot;.
• Le protocole de fil pour les messages des ganglions de changé, ce qui a nécessité une refonte majeure de greceptor. Nous avons pris la décision d'écrire un service basé sur RPC simple (nommé 'ChannelD') pour prendre en charge les responsabilités de greceptor. ChannelD accepte les demandes 411-vente et agit sur eux en utilisant 411-get pour télécharger des fichiers sous le contrôle de 411.
• Tous les autres composants de 411 restent inchangées, seul le moteur de notification a été amélioré.
• la résolution DNS pour plusieurs domaines.
• Le système de nommage DNS sur l'interface prend désormais en charge plusieurs zones, où chaque sous-réseau géré par l'interface peut être mis dans une zone différente. Le service DNS peut être activée ou désactivée pour chaque zone individuelle.
• Support Connexion de l'appareil.
• Un noeud peut être configuré comme un appareil de connexion. Par défaut, un appareil de connexion peut soumettre des travaux, mais il ne peut pas exécuter des tâches.
• Définissez le nom d'un hôte basé sur le nom d'une interface réseau spécifique.
• Le & quot; primary_net & quot; attribut permet nœuds aient / bin / hostname ensemble au nom d'une interface réseau autre que & quot; & quot ;. privée Ceci est utile pour la connexion ou d'autres appareils d'interface multiple.
• permuter facilement 2 interfaces avec la commande un Rocks.
• Pour échanger les réglages des deux interfaces, exécuter & quot; roches interface hôte de swap ... & quot;.
• Création d'un dépôt GIT pour liés Rocks-code source.
• L'hôte & quot; git.rocksclusters.org & quot; est un dépôt GIT pour tout le code des Rocks de base, le code UCSD Triton ressources et Rocks code contrib.
• Améliorations:
• OS: Basé sur CentOS version 5 / jour 5 et les mises à jour à partir du 2 Novembre 2010
.
• Base: Anaconda installateur mis à jour v11.1.2.209
.
• Base: plus remappez le réseau privé à & quot; & quot ;, eth0 place Rocks conserve la trace du réseau d'un nœud de kickstarté et des cartes de ce réseau à la & quot; & quot privé; réseau. Par exemple, si un noeud kickstarté off & quot; & quot ;, eth1 puis & quot; eth1 & quot; sera mappé vers le réseau privé.
• Base: durci l'installateur Anaconda pour écrire de manière plus agressive les fichiers de configuration de grub sur le disque de démarrage. Cela aide à réduire le & quot; accrocher tout en essayant de charger Grub stage2 & quot; question.
• Base: retiré module noyau ext4 de l'environnement de l'installation. Nous avons constaté que d'essayer de monter une partition de swap comme un système de fichiers ext4 souvent causé des paniques du noyau lors des installations.
• Base: ajoutée ksdevice = bootif à tous les objectifs de démarrage PXE. Cela améliore la rapidité d'installation grâce à la réutilisation de l'adresse IP / informations d'interface quand un nœud PXE bottes. Auparavant, un nœud serait re-numériser toutes les interfaces ethernet.
• Base: quand un fichier nœud XML a une erreur de syntaxe, & quot; profil liste des roches d'accueil & quot; imprime le nom du fichier noeud XML et le numéro de ligne où l'erreur de syntaxe est survenu.
• Base: & quot; & quot roches hôte exécuter; fraye désormais plusieurs threads parallèles lorsque plusieurs hôtes sont fournis. Également ajouté les paramètres suivants:. Timeout (! Merci Tim Carlson), retard, stats, rassembler et num-fils
• Base: yum défaut de configuration modifiée pour se lier à IP publique du frontend au lieu du privé. Cela facilite l'installation du package facile pour noeuds externes (par exemple, les nœuds fonctionnant sur un cloud public).
• Base:. Attributs inexistants sont considérées comme fausses conditionnelles lors de la construction des fichiers de configuration
• Base de: & quot; & quot précède; méthode ajoutée Rocks commande plugins pour permettre la commande à grains fins de l'exécution du plugin.
• Base: interfaces réseau sous Linux 2 nouveaux modes spécifiques: & quot; dhcp & quot; et & quot; & quot ;. noreport Le & quot; dhcp & quot; mode indique que l'interface doit toujours DHCP pour obtenir son adresse. Le & quot; noreport & quot; mode spécifie qu'aucune & quot; ifcfg - * & quot; fichier doit être écrit pour l'interface. Si un mode est pas spécifié pour une interface, Rocks créeront un & quot; ifcfg - * & quot; produire pour l'interface basée sur les valeurs définies dans la base de données (comme il l'a fait dans la version précédente).
• Base: IPMI utilise maintenant la colonne de chaîne d'interface dans le tableau des réseaux de spécifier le numéro de canal du contrôleur de la carte mère
.
• Base: texte à l'intérieur & quot; changelog & quot; balises est désormais enveloppés dans CDATA pour permettre des caractères d'échappement XML. Ceci est pris en charge uniquement pour les fichiers noeud XML trouvés dans Rolls (pas pour les fichiers XML de nœuds trouvés dans / / roches / installer site-profils / exportation.
• Base: rouleaux peuvent être construits sans une copie complète du code source Rocks. Ils utilisent l'environnement de développement des Rocks trouvé sous / opt / roches / share / devel sur un frontend.
• Area51:. Tripwire mis à jour v2.4.2
• Bio:. Rafraîchi modules CPAN
• Bio:. Rafraîchi CPAN MPI-Blast
• Bio:. Ajouté Celera Whole Genome Sequence assembleur
• Condor:. Mis à jour v7.4.4
• Condor: la configuration Condor automatisé complètement remanié: 1) la configuration est Rocks commande basées sur la place de l'outil de CondorConf autonome, 2) il prend en charge la mise à jour dynamique de tout / tous les configurations sur les nœuds, 3) il utilise Rocks commande plugins pour permettre supplémentaire automatisé config condor (par exemple, par l'intermédiaire de plugin, il peut activer le support MPI).
• Condor:. Prend en charge un mot de passe de la piscine (secret partagé) pour la vérification de l'hôte supplémentaire
• Condor:. Intègre avec rouleau de EC2 d'étendre piscines Condor avec les hôtes EC2
• Condor: Ajout du support pour le port va à faciliter la configuration de pare-feu
.
• Condor: copie locale des pages de manuel de Condor ajouté à rouler documents
.
• Condor:. Appui à la mise à jour Condor sur des nœuds sans ré-installation (par exemple, les roches exécuter hôte & quot; yum update condor & quot;; roches condor hôte de synchronisation)
• Ganglia:. Moniteur-core mis à jour v3.1.7
• Ganglia:. RRDTOOL mis à jour v1.4.4
• Ganglia:. Roll Ganglia peut maintenant être ajouté sur la volée à un frontend existant
• Ganglia: tous les nœuds envoient leurs métadonnées métrique toutes les 3 minutes. Dans le passé, quand gmond a été redémarré sur le frontend, il ne pouvait pas collecter des mesures à partir des nœuds car il y avait pas de métadonnées à partir des nœuds (et il n'a pas eu une façon de poser les nœuds, car les nœuds sont configurés dans & quot; sourds & quot;. Mode)
• HPC:. IOzone mis à jour v3.347
• HPC:. Iperf mis à jour v2.0.5
• HPC:. MPICH2 mis à jour pour v1.2.1p1
• HPC:. OpenMPI mis à jour v1.4.3
• HPC: roches-openmpi est le MPI par défaut et il est configuré avec MPI-sélecteur
.
• SGE:. SGE mis à jour pour V62u5
• SGE: un hôte peut être configuré pour être un hôte d'exécution par la mise quot & de l'hôte; EXEC_HOST & quot; et & quot; sge & quot; attribue à vrai et tout hôte peut devenir un hôte de soumission par la mise quot & de l'hôte; submit_host & quot; et & quot; sge & quot; attributs à true.
• Web-serveur:. MediaWiki mises à jour à v1.16.0
• Web-serveur:. Wordpress mis à jour v3.0.1
• Xen: un nœud peut comment Host des machines virtuelles Xen. Ceci est contrôlé avec le & quot; xen & quot; attribut.
• Xen: régler la puissance pour tous les nœuds d'un cluster virtuel (sauf le frontend VM) avec une commande (& quot; roches exposées puissance pôle ... & quot;). Les paramètres d'alimentation peuvent être & quot; & quot ;, le & quot; hors & quot; ou & quot; installer & quot; (Allumer et forcer l'installation).
• Xen: machines virtuelles permettent de définir VLAN étiqueté interfaces. Auparavant, le marquage VLAN a été pris en charge uniquement pour les interfaces physiques.
• Correction de bugs:
• Base: utilisateurs non-root ne peuvent plus voir les mots de passe cryptés avec 'la liste des roches hôte attr. Mots de passe hachés sont maintenant stockés dans une colonne «de l'ombre» dans les tableaux d'attributs.
• Base: le & quot;% & quot; dans & quot; roches hôte exécuter% & quot; retourne désormais tous les hôtes. Merci à Tom Rockwell pour le correctif.
• Base: Si un commutateur Ethernet envoie une requête DHCP, le serveur DHCP ne plus lui envoie le & quot; nom de fichier & quot; et & quot; prochain serveur & quot; dans la réponse de DHCP. Cela a causé certains commutateurs de ne pas charger correctement leur firmware. Plus généralement, cela est contrôlé par le & quot; & quot ;, kickstartable & quot; dhcp_filename & quot; et & quot; dhcp_nextserver & quot; attributs.
• Base: & quot; roches set password & quot; demande à l'utilisateur de confirmer leur nouveau mot de passe.
• Base: quand un nœud demande un fichier Kickstart et si l'interface détermine que l'interface est trop & quot; & quot ;, occupé le noeud de kickstart le fait maintenant correctement un déblocage aléatoire avant de re-demander son fichier Kickstart. Avant ce correctif, un nœud serait BackOff pendant 30 secondes.
• Base:. Conditionnelles multiples peuvent maintenant être présents dans les balises XML
• Base: Correction d'un problème graphique de traversée. Dans le passé, si vous aviez le graphique & quot; un & quot; (Cond) pour & quot; b & quot; & quot; c & quot; et si & quot; cond & quot; était faux, le parcours du graphe inclurait & quot; un & quot; et & quot; c & quot ;. Maintenant, il comprend tout & quot; un & quot;.
• Base de: autorisations définies dans le & quot; & quot; fichier tag sont conservés, même si il ya d'autres & quot; fichier & quot; des tags pour le même fichier qui ne définissent pas les autorisations du fichier. Le bug a été quand un plus tard, & quot; fichier & quot; tag sans & quot; & quot permanentes; attribut a été rencontrée, les autorisations du fichier ont été effacés.
• Base: & quot; fichier & quot; balises prennent désormais en & quot; os & quot; conditionnelles.
• Base: en insertion-éthers, les appareils qui sont marqués & quot; pas kickstartable & quot; ne sera pas avoir à attendre pour un fichier Kickstart. Dans le passé, il fallait frapper la & quot; F9 & quot; (Force quitter) pour quitter insert-éthers en découvrant appareils kickstartable non (par exemple, les commutateurs Ethernet).
• Base: Configuration IPMI nettoyé. Rocks ne génère plus les entrées erronées dans modprobe.conf ou / etc / sysconfig / ifcfg-ipmi.
• Base: Le & quot; pré & quot; tag supporte désormais le & quot; interprète = & quot; attribut.
• Bio: éliminée & quot; Permission Denied & quot; erreurs lors d'essais multiples sur la même base de données BLAST par différents utilisateurs.
• SGE: fait la métrique de collecte de travail plus efficace. Auparavant, lorsque 100 de travaux sont soumis à la file d'attente d'un frontend, la métrique de SGE serait si long à exécuter, il a causé gmond pour arrêter la collecte de métriques pour tous les hôtes.
• SGE: le nombre de processeurs de matrices de travail consomment sont maintenant correctement compté
.