Utilisation De Clusters Dans Les Entreprises

REPARTITION DE CHARGE ........................................................18 4.1 4.2 4.2.1 4.3 4.4 4.5 4.6 5. ILLUSTRATION DE LOAD-BALANCING POUR UN SERVEUR WEB.................................................... 18 LES ARCHITECTURES N-TIERS ................................................................................................... 19 Plusieurs couches logiques avec un rôle spécifique......................................................................... 19 TOPOGRAPHIE DES DIFFERENTS TYPES DE CLUSTERS ................................................................ 21 CLUSTER A UNE SEULE COUCHE (CLUSTER DE BASE).................................................................. 21 CLUSTER A DEUX COUCHES, DISPONIBILITE ET EVOLUTIVITE ELEVEES ......................................... 22 CLUSTER MULTICOUCHES, COMPLEXE MAIS DISPONIBILITE EXTREME ........................................... 24

EXEMPLES DE SOLUTIONS................................................................................25 5.1 5.2 5.3 5.3.1 5.3.2 5.4 CLUSTERS ORACLE .................................................................................................................. 25 CLUSTERS MICROSOFT ............................................................................................................ 25 CLUSTERS LINUX ..................................................................................................................... 32 Les Cluster Beowulf.......................................................................................................................... 32 OpenMosix : un exemple de clustering simple et efficace. ............................................................... 33 EXEMPLES DE CLUSTERS DANS LE MONDE ................................................................................. 35

6. 7.

CONCLUSION .....................................................................................................36 SOURCES BIBLIOGRAPHIQUES.........................................................................37

Les utilisations des clusters dans les entreprises

Page : 2

BIBLIO 1er trimestre Master 2 SIR

Introduction

Des origines de l’ordinateur en 1945 jusqu ‘à 1985, l’utilisation de l’ordinateur dans nos sociétés ne cessait de progresser, mais le prix du matériel étaient encore très élevé. Les entreprises disposaient de peu de machines et étaient dans l’incapacité de les faire collaborer ensemble. Dans les années 1980, cette situation fut bouleversée par l’arrivée de deux avancées technologiques : la première étant liée aux progrès des microprocesseurs (de plus en plus rapides et peu onéreux) et la deuxième est l’invention des réseaux rapides. De ces deux facteurs naquirent les systèmes distribués qui s’opposaient à l’approche centralisée des mainframes qui régnait alors. Aujourd’hui, la technologie du parallélisme est devenue un pilier de l’informatique moderne. C’est une méthode permettant de fragmenter un problème en plusieurs morceaux plus petits qui peuvent être résolus en parallèle. Cette solution est la seule à pouvoir répondre à des problématiques de vitesse et de volume de données importants. Son développement fut permis par la création de processeurs massivement parallèles mais extrêmement coûteux et par la diffusion des systèmes distribués qui eux, en revanche ne nécessitent que l’utilisation de machines existantes. Cette recherche bibliographique s’intéresse à une partie des systèmes distribués, les clusters qui sont un groupe de machines traitant ensemble des données et des instructions. Dans un premier temps nous définirons la notion de cluster, puis les parties suivantes traiteront des trois grandes applications de ce type d’architecture : • • • Calculs Haute disponibilité Répartition de charge

Nous illustrerons notre recherche par quelques exemples avant de conclure.

Les utilisations des clusters dans les entreprises

Page : 3

BIBLIO 1er trimestre Master 2 SIR

1. Définition du Clustering

1.1 Historique

SAGE était un cluster construit pour le NORAD par IBM en 1950. Avec la technologie des tubes à transistors, SAGE était constitué de machines autonomes qui collaboraient pour détecter préventivement des missiles arrivant sur le continent américain. Des bonds technologiques aussi bien matériels que logiciels eurent des impacts durables sur les clusters. Les premières générations de microprocesseurs conçus par le développement initial du VLSI (Very Large Scale Intégration) apparurent en favorisant l’émergence des premières stations de travail et des premiers ordinateurs personnels. Ethernet en se répandant popularisa les réseaux locaux et créa un standard industriel peu coûteux pour le transport des données. Les années 1980 marquèrent un intérêt accrus pour les clusters par des expérimentations dans la recherche et l’industrie. La NSA utilisa 160 stations Apollo interconnectées entre elles pour ses besoins. DEC réunit 750 machines. La communauté scientifique explora, durant cette période de nombreuses voies dans le domaine du parallélisme dont celle qui aboutit au domaine du message passing. Une étape fut franchie avec la naissance de PVM (Parallel Virtual Machine) qui implémentait ce modèle. PVM, développé à Oak Ridge National Laboratory, a été le précurseur des systèmes distribués disponibles sur plusieurs types de plateformes. En 1993, Le réseau Myrinet fut inventé pour offrir au cluster une meilleure bande passante et une meilleure latence. Les premiers clusters Beowulf furent développés pour la NASA en 1994. Cette année vit la naissance d’une nouvelle API de message passing MPI (Message Passing Interface) qui devint le modèle dominant. Les clusters ne cessent de devenir de plus en plus performants. En 2000, le laboratoire de Los Alamos annonça un cluster pouvant atteindre les 30 Gflops.

1.2 Classification des ordinateurs

Flynn range les matériels selon les services qu’ils rendent aux flux de données et aux flux d’instructions : • SISD: Single Instruction Single Data. Les processeurs séquentiels appartiennent à cette famille, • SIMD Single Intruction Multiple Data Stream • MISD Multiple Instruction Single Data Stram (sans réelle application). • MIMD Multiple Instruction Multiple Data, les systèmes multiprocesseurs et les architectures distribuées figurent dans cette famille. En 1988, ce schéma fut étoffé par Johnson en se basant sur la structure de la mémoire (Distribuée ou globale) et sur les mécanismes de communications (variables partagées ou passage de messages). La Figure 1 présente la classification de Flynn-Johnson.

Les utilisations des clusters dans les entreprises

Page : 4

BIBLIO 1er trimestre Master 2 SIR

Flux d’instructions

Flux de données Multiple Simple

SISD

SIMD

GMSV

GMMP

DMMP

Distribué Global

MISD

DMSV

MIMD

Variables Message partagées Passing

Communication Synchronisation

Figure 1 Classification de Flynn-Johnson

Les nouvelles divisions sont : • • • • GMSV Global Memory Shared variables GMMP Global Memory Message Passing (sans réelle application). DMSV Distributed Memory Shared Variables DMMP Distributed Memory Message Passing

La plupart des clusters sont de la famille DMMP, c’est à dire que ce sont des architectures à mémoire distribuée utilisant le passage de messages.

Les utilisations des clusters dans les entreprises

Mémoire

Page : 5

BIBLIO 1er trimestre Master 2 SIR

1.3 Problématique posée par les Clusters

Définition : Un cluster (grappe) est un ensemble d'ordinateurs connectés les uns aux autres en réseau dans le but de partager des ressources. Ces ordinateurs sont alors appelés nodes (noeuds) et l'ensemble forme le cluster.

•

Lenteur de diffusion du code vers les nodes Toutes les machines interconnectées ne partagent pas la même mémoire. Ainsi, il est indispensable de diffuser le code à exécuter à chaque node cliente. A noter que les temps de propagation sur le réseau sont très longs comparés aux temps de propagation sur le bus interne d'un ordinateur (ce qui tente à changer aujourd’hui).

•

la redondance Les clusters utilisent un mécanisme permettant une redondance importante.