Analyse dADN Technologie Oracle RAC (Base de donnes rpartie)Mario Provenal et Martin ProvenalUQM

IntroductionHaute disponibilit (Bio-Info)Pourquoi Oracle RAC?Quest-ce que Oracle RAC (Real Application Cluster)UQM

Ordre du jourAnalyse concurrentielleOracle 10g RACAnalyse dADNExemple dun basculement transparentConclusionPriode de questionsUQM

Analyse concurrentielleConcurrents VeritasMicrosoftSUNHPIBMUQM

Analyse concurrentielle (suite)Points en communsLimite du nombre de nudsBalancement de chargeVitesse de basculementPrixUQM

Architecture matrielleUQM

Architecture logicielModle de donnes partagesUQM

Architecture technologique 10gUQM

Composantes matriellesRAC deux noeuds1 Disque FireWire ou plus2 cartes FireWire1 HUB FireWire Hub (au besoin)2 Cbles FireWire2 Serveurs or vieux PC1 Switch rseau1 Hub rseau4 cartes rseau Ethernet (Minimum)4 cables rseau (Minimum)UQM

tapes dinstallationConfigurer le matrielConfigurer le SE,Rseau public,Interconnexion priveConfigurer le disquepartagInstaller Oracle CRSInstaller le logiciel OracleIncluant RAC et ASMExcuter VIPCA,Automatiquement lanc partir de RDBMS root.shCrer la base de donnesAvec DBCAValider la configurationDu cluster/RACUQM

Red Hat Advanced Server 3Installation du systme dexploitationConfiguration du module noyau hangcheck-timerMise jour du module noyau pour les disques partags FireWire.Installation du module noyau pour le systme de fichier OCFS et ASMUQM

Installation du service CRSCRS (Cluster Ready Services) donne les services de haute disponibilits indpendant de la plateforme pour les bases de donnes rparties. CRS donne tous les services requis (pas besoin de recourir dautres fournisseurs de grappe) CRS interagira avec le logiciel de grappe si install.CRS require le partage de 2 fichiers (OCR et Voting Disk) entre tous les nuds de la grappe. UQM

Installation de la base de donnesChoisir loption Oracle Real Application Clusters databaseChoisir lopration Create a databaseChoisir loption ASMUQM

Validation des servicesHA Resource Target Stateora.orcl.dbONLINE ONLINE on rac1pubora.orcl.orcl1.inst ONLINE ONLINE on rac1pubora.orcl.orcl2.inst ONLINE ONLINE on rac2pub ora.orcl.orcltest.cs ONLINE ONLINE on rac1pubora.orcl.orcltest.orcl1.srv ONLINE ONLINE on rac1pubora.orcl.orcltest.orcl2.srv ONLINE ONLINE on rac2pubora.rac1pub.ASM1.asm ONLINE ONLINE on rac1pubora.rac1pub.LISTENER_RAC1PUB.lsnr ONLINE ONLINE on rac1pubora.rac1pub.gsd ONLINE ONLINE on rac1pubora.rac1pub.ons ONLINE ONLINE on rac1pubora.rac1pub.orcl1.asm ONLINE ONLINE on rac1pubora.rac1pub.vip ONLINE ONLINE on rac1pubora.rac2pub.ASM2.asm ONLINE ONLINE on rac2pubora.rac2pub.LISTENER_RAC2PUB.lsnr ONLINE ONLINE on rac2pubora.rac2pub.gsd ONLINE ONLINE on rac2pubora.rac2pub.ons ONLINE ONLINE on rac2pubora.rac2pub.vip ONLINE ONLINE on rac2pubUQM

Logiciel dAnalyse dADNRequte HTTP la base de donne SGD (Sacccharomyces Genome Database)Requte locale pour trouver des patrons spcifiqueUQM

Tlchargement dune squence[oracle@rac1pub src]$ sqlplus scott/tiger@orcltest @dna_analysis.sqlSQL*Plus: Release 10.1.0.3.0 - Production on Sun May 1 11:16:01 2005Copyright (c) 1982, 2004, Oracle. All rights reserved.

Connected to:Oracle Database 10g Enterprise Edition Release 10.1.0.3.0 - ProductionWith the Partitioning, Real Application Clusters, OLAP and Data Mining options

Enter value for region: YMR317Wold 9: region_id :='&region' ;new 9: region_id :='YMR317W' ;Enzyme Position Analysis for YMR317W Genome DNA Sequence----------------------------------------------------------------------------- ENZYME NAME POSITION (First occurrence )----------------------------------------------------------------------------- EcoRI_Enzyme 0 BamHI_Enzyme 0 HindII_Enzyme 313 Ama87I_Enzyme 190 Asp700I_Enzyme 0-----------------------------------------------------------------------------PL/SQL procedure successfully completed.UQM

Recherche dans la BD locale[oracle@rac1pub src]$ sqlplus scott/tiger@orcltest @search_localdb.sqlSQL*Plus: Release 10.1.0.3.0 - Production on Sun May 1 11:18:50 2005Copyright (c) 1982, 2004, Oracle. All rights reserved.

Connected to:Oracle Database 10g Enterprise Edition Release 10.1.0.3.0 - ProductionWith the Partitioning, Real Application Clusters, OLAP and Data Mining options

Pattern analysis on locally stored DNA Sequence

REGION ECORI HINDII AMA87I ASP700I-------------- ---------- ---------- ---------- ----------YDR511W 0 0 0 0YBL086C345 354 0 431YMR318C 0 263 0 0YBL094C0 0 0 170YOR239W 0 154 0 0YMR317W 0 313 190 0UQM

Exemple de basculement transparentSELECT instance_name, host_name, NULL AS failover_type, NULL AS failover_method, NULL AS failed_overFROM v$instanceUNION SELECT NULL, NULL, failover_type, failover_method, failed_over FROMv$session WHERE username = 'SCOTT';

INSTANCE_NAME HOST_NAME FAILOVER_TYPE FAILOVER_METHOD FAILED_OV--------------------------- --------------------- ------------------------- -------------------------------- ------------------orcl2 rac2pub SELECT BASIC NO

UQM

Exemple de basculement transparentSELECT instance_name, host_name, NULL AS failover_type, NULL AS failover_method, NULL AS failed_overFROM v$instanceUNION SELECT NULL, NULL, failover_type, failover_method, failed_over FROMv$session WHERE username = 'SCOTT';

INSTANCE_NAME HOST_NAME FAILOVER_TYPE FAILOVER_METHOD FAILED_OV--------------------------- --------------------- ------------------------- -------------------------------- ------------------orcl1 rac1pub SELECT BASIC YES

UQM

Exemple de basculement transparent# tnsnames.ora Network Configuration File# Generated by Oracle configuration tools.

ORCLTEST = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = rac1vip)(PORT = 1521)) (ADDRESS = (PROTOCOL = TCP)(HOST = rac2vip)(PORT = 1521)) (LOAD_BALANCE = yes) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = orcltest) (FAILOVER_MODE = (TYPE = SELECT) (METHOD = BASIC) (RETRIES = 180) (DELAY = 5) ) ) )

UQM

ConclusionInstallation facileMme fournisseurUtilisation lgrement complexe Excution transparente lapplication4,200 RAC Oracle dans le monde (sept. 2004).UQM

Priode de questionQuestions&RponsesUQM

RfrencesBuild Your Own RAC Cluster on Linux and FireWire by Jeffrey Hunter http://www.oracle.com/technology/pub/articles/hunter_rac.htmlInstalling Oracle Database 10g with Real Application Cluster (RAC)on Red Hat Enterprise Linux Advanced Server 3 by Werner Puschitz http://www.puschitz.com/InstallingOracle10gRAC.shtmlOracle Real Application Clusters Installation and Configuration Guide 10g Release 1 (10.1.0.3) for Linux x86-64http://download-east.oracle.com/docs/html/B14406_01/toc.htmOracle Database 10g High Availability with RAC, Flashback & Data Guard(Maintain 24/7 Database Uptime)Matthew Hart, Scott Jesse, McGraw-Hill,2004http://books.mcgraw-hill.com/getbook.php?isbn=0072254289&template=oraclepressRegular Expression Sample Application - DNA Analysis 01-Dec-2004http://www.oracle.com/technology/sample_code/tech/pl_sql/regexp/dnasample/readme.htmlCentre Oracle pour Linuxhttp://www.oracle.com/technology/tech/linux/index.htmlDocumentation de la base de donnes Oracle 10ghttp://www.oracle.com/technology/documentation/database10g.htmlDocumentation du projet OCFShttp://oss.oracle.com/projects/ocfs/documentation/Installation de Oracle ASMLibhttp://www.oracle.com/technology/tech/linux/asmlib/install.htmlUQM

On se prsente: Bonjour nous avons choisi pour projet

Analyse dADN sur un systme de haute disponibilit

Quest-ce la haute disponibilit?Cest un systme qui doit tre fonctionnel et performant 7jours/7jours 24h/24h, malgr les pannes matrielles. La maintenance et ladministration doit pouvoir tre faite sans altrer lutilisation de la base de donne.

Pourquoi le besoin des technologies de haute disponibilits en bio-informatique?La dure de vie des chantillons dADN ( car on travail avec du matrielle vivant). Alors si on reoit un chantillon vivant que lon doit analyser et quun nud tombe en panne nous empchant de faire le travail (on doit attendre le technicien). Si cest un chantillon difficile ou dispendieux cloner, on en a peu de copie et plus on attend, plus lchantillon se dgrade. Avec un systme haute disponibilit, mme si un nud tombe ne panne, a ne prend que quelques secondes pour pouvoir continuer notre travail.

Aussi, les applications en bio-informatiques effectues des requtes sur des tables immenses pour analyser leurs donnes, ces requtes peuvent prendre un temps relativement long, alors si ils nont pas un systme haute disponibilit, il va arriver que les requte ne complte pas leurs excutions et les biologistes vont perdre beaucoup de temps.

Systme choisi Les compagnies offres diffrents systmes pour rpondre ce problme. Le systme que nous avons choisi estOracle 10g RAC (Real Application Cluster) Base de donnes rparties

Pourquoi ce systme plutt quun autre?Premirement cest une nouvelle technologie, ce qui est intressant dcouvrir. Aussi, on a vu un peu en classe Oracle 10g et a va permettre dapprofondir nos connaissances sur ce sujet l. Il y a aussi la publicit dOracle qui nous dis que cest un systme trs simple installer et utiliser. Le meilleur moyen pour approfondir nos connaissances et valider si Oracle dis vrai, cest de faire un projet rel. Ceci nous permet de passer travers toutes les tapes: de linstallation matriel en passant par linstallation du SE, Logiciel, jusquau test final pour valider le bon fonctionnement du RAC.

Quest ce que Oracle 10g RAC?Oracle 10g RAC fournit les fonctionnalits pour les bases de donnes rparties de faon ce que sil y a un nud qui tombe en panne, les usagers peuvent faire un basculement de faon transparente vers un autre nud. Par exemple si un usager fait une requte sur une base de donnes pour aller chercher des milliers denregistrements (ce qui arrive souvent en bio-info) et quun nud dans le cluster tombe, le systme prend soins de migrer lusager et la requte vers un autre nud qui est disponible et continu lopration. Lusager reoit la rponse sa requte et ne sest aperu de rien. Voil quoi sert le RAC dans Oracle 10g.

Viens de la technologie OPS (oracle parrallel server) disponible depuis Oracle 7, donc Oracle quand mme une bonne exprience sur ce type de systme. Le RAC est comme la deuxime gnration de OPS.Ordre du jour

Dans cette prsentation, je vais parler des concurrents Oracle 10g RAC, ensuite Mario va vous expliquer plus en dtails, le fonctionnement dOracle 10g RAC, le matriel requis et les phases de son installation. Aprs, je vais revenir pour vous montrer lapplication danalyse de squence dADN que nous avons utilis pour effectuer nos test de basculement transparent. Et en conclusion nous allons vous donner nos impressions sur la faciliter dinstallation, dutilisation et de son bon ou moins bon fonctionnement.Cot minimum, pas besoin dajouter de logiciel dispendieux ou Systme le plus rapide au monde pour faire le fail over (Oracle garantie un fail over infrieur 15 secondes).

Veritas ... no load balancing Veritas ... no failover Veritas ... limit of 8 nodes Veritas costs money not required when you use 10g RAC Veritas limite de 8 nuds

Oracle test avec 128 noeuds

Oracle utilise partage la mme base de donnes entre tous ses noeuds. Microsoft la base de donnes partitionn entre les nuds. DB2, la base de donnes est compltement spar.

Pour certains de ces produits, sans service de consultation, cest a peu prs impossible de faire fonctionner.

On a fait des recherches, mais on a pas trouv de vrai comparatif entre les diffrentes compagnies. Notre recherche nest pas sur ce points mais cest un points important mentionner.

Point ngatif:les grilles doivent tre homognes. On ne peut pas avoir une instance 10g d'une application simultanment avec Linux et Windows dans la mme grille. En revanche, les diffrentes grilles peuvent fonctionner avec des systmes d'exploitation diffrents

Scalability number of userssize of database(s)out of the box with any applicationHigh AvailabilitySpeedupReaching traditional hardware limitsMaturity of Real Application Cluster

Liste de matriels- Usager connect un rseau virtuel- La console centralis avec OEM (Oracle enterprise Manager ou Grid Control)- linterconnections avec gigabit network ou InfiniBand (cache fusion, change des blocks non modifier en mmoire entre les instances, pas besoin dcrire le block sur disque pour une relecture par lautre instance)- Base de donnes rparties (Oracle RAC)- Hub ou fiber switch- Matrice de disques

RAC est la technologie sur laquelle repose la technologie GRID dOracle

Rappel de notion vue en classe sur les base de donne rparties

- Instances de la base de donnes- Fichiers de la base de donnes sur les disques partags- Adresse de rseau virtuel (Vip)- Instance de la base de donnes- ASM (block de disques doivent schang entre les instances)- Logiciel de grapper (clusterware)- Systme dexploitation

+ASM redo logs, fichiers de base de donnes, fichiers controles et les fichier darchiveOCFS - pour Oracle cluster registry (OCR) et Voting Disk

Nous avons utilis la technologie ASM et les autres choix disponibles taient RAW et OCFS

5 15% de perte de performance pour les 3 premiers nuds de la grappe, aucune perte de performance par la suite.Causes possible:- verrou globaux (global lock)- Construction de lapplicationNous:1 Disque FireWire ou plus (acht 200$ + 65$)2 cartes FireWire (acht 12$)1 HUB FireWire Hub (au besoin)2 Cbles FireWire (inclus)2 Serveurs or vieux PC (vieux PC)1 Switch rseau (hub 100Mbits)1 Hub rseau (hub 10 Mbits)4 cartes rseau Ethernet (pris de dautres PC)4 cables rseau (Pris de dautres PC)

Configuration recommandIntel P4 2.8Ghz,1Go RAM,40Go despace disque,carte rseau 10/100Mbits,200-300Go despace disque partag

Recommendations minimum:P3 500Mhz,256Mb RAM,3 GB despace disque300 GB despace disque partag

Notre configuration:P3 450Mhz,512MB RAM, lautre seulement 384MBdisque 10GB- mme avec 384MB (333MB dutiliser sans le programme qui roule)

1- installation du matriel 2- installation de RED Hat Enterprise Advance Server 33- configuration des 2 sous rseaux (public et priv)4- configuration de disque partag5- installer le logiciel de grappe Oracle 10g CRS (clusterware)6- installer le logiciel Oracle 10g database7- configurer les VIP8- Crer une base de donne rpartie9- valider la base de donnes rpartie

1 mode configurer- ajout dun watch dog pour le disque FireWire partag

3 modes ajouter- Mise jour du module FireWire pour permettre les verrous partags (lock sharing)- Ajout du module Oracle pour OCFS- Ajout du module ASM (driver pour la systme dexploitation - autre type de systme de fichiers)*Au pralable crer les 2 fichiers de partage sur OCFS avant linstallation du logiciel CRS.Fichiers:- Registre de control de la grappe, Oracle cluster Registry (OCR) Metadata sur les ressources et o les ressources doivent sexcuter - Voting disk resolving split-brain - solutionneur lorsquune instance perd a connection rseau.- Identique linstallation dun base de donnes conventionnel, mais avec linformation copier sur lensemble des noeudsOrcl.db base de donnes rpartieOrcl1.inst instance 1Orcl2.inst instance 2Orcltest.cs service de synchronisation du clusterOrcltest.orcl1 service de connection pour linstance 1Rac1pub.ASM1.asm instance ASM (base de donnes qui est seulement mont, jamais ouverte, ne gnere pas de undo et de redo)Rac1pub.Listener_rac1pub.lnsr service de connection Rac1pub.gsd Group Service DaemonlRac1pub.ons Oracle notification ServicesRac1pub.orcl1.asm service de systme de fichier pour linstance 1Rac1pub.vip connection virtuelLe logiciel que nous avons utiliser pour valider le bon fonctionnement du basculement transparent est un application en lien avec notre programme dtude: Bio-Informatique. Cest un logiciel danalyse de squences dADN.

Comment fonctionne ce logiciel: Premirement, ce logiciel est en fait composer de deux procdures PL/SQL. La premire consiste effectuer une requte sur la base de donne SGD qui est une base de donne scientifique de la biologie et de la gntique molculaires de la levure. La procdure utilise le protocole HTTP pour contacter la base de donnes SGD, la procdure lui envoie un code reprsentant un site sur le gnome de la levure et la base de donne nous retourne ce gnome que lon insre dans notre base de donne locale. Par la suite, nous pouvons utiliser la deuxime procdure pour faire des analyses sur la squence dADN que nous avons reu. Donc la procdure recherche des patrons spcifiques parmi les squences que nous avons dans notre base de donne locale. Ceci est en rsum ce que notre application peut faire.Puisque notre application travail avec de trs petites squences, lexcution des requtes est trs rapide. Donc, nous avons d modifier un peu notre application afin quelle sexcute pendant plus longtemps. En fait, ce que nous avons fait, cest dinsrer une boucle lintrieur de la procdure, pour que lopration qui va chercher une squence dADN seffectue plusieurs fois. Ceci nous a permis davoir plus de temps pour pouvoir aller vrifier sur quel nud sexcutait lapplication, ensuite fermer le service sur ce nud et finalement vrifier nouveau tat avant le basculementtat suivant le basculementIl est important de savoir que si lon utilise un langage de programmation comme Java ou C++, il faut utiliser les connections de type OCI et non pas les connections natives, sinon lapplication ne sera pas en mesure de connatre les rgles pour savoir comment se reconnecter. La raison est que OCI lit les fichiers de configurations.

FAILOVER_MODEType = SESSION pas besoin de reconnecter suite au failover, mais tous les SQL devront tre r excutsType = SELECT - pas besoin de reconnecter suite au failover, et si la session tait au milieu dun SELECT, le SELECT va sauto r excuter.

1- Out of the boxInstallation facile par lutilisation de menu graphique.

2- Tout les modules sont disponible chez Oraclemodule disques partags FireWire.module pour le systme de fichier OCFS et ASM

3- Si dj une bonne connaissance de Oracle, RAC est trs facile apprendre. Si non, nous suggrons une formation Oracle pour les problmes potentiels.

4- Aucune modification lapplication, mais pour sassurer dont basculement transparent, lapplication devra tenir compte des erreur de connexion pour les INSERT et UPDATE.

5-Nombre dinstallation 4,200 RAC dans le monde, dont 1,500 en Europe.Septembre 2004

6- Avec 10gR2, le maximum de nuds est de 1055 pour tout les plateformes disponibles. Les 2 fichier (OCR et Voting disk) sont maintenant en double copie.

Installer Linux = 1 journeInstaller les composantes du RAC pour quil soit fonctionnel au niveau de la base de donne: 1journeInstaller et tester lapplication (1/2 journe)On a d faire 3 installations (cause: matriel avec des performances infrieur au recommandations).Configurations des ordinateurs:- P3 450Mhz, 512Mb RAM, disque 10Go- mme avec 384Mb (333Mb dutiliser sans le programme qui roule)