8/16/2019 Proxmox HA

1/22

CLÚSTERPROXMOX EN

ALTADISPONIBILIDAD

Jose Alejandro Perea García

2ASIR 

 

8/16/2019 Proxmox HA

2/22

Índice de contenido1.- Introducción....................................................................................................................................3

2.- Proxmox Virtual Environment........................................................................................................3

2.1.- Requisitos para la instalación .................................................................................................32.2.- Comparación con los demás sistemas de virtualiación .........................................................!

3.- "lta disponi#ilidad $%"&.................................................................................................................!

!.- Estructura del pro'ecto...................................................................................................................!(.- Instalación de Proxmox...................................................................................................................(

).- Con*i+uración almacenamiento ,..............................................................................................//.- Creación de máquina virtual...........................................................................................................0

0.- Creación del Clster......................................................................................................................1.- 4i+ración en *r5o ' en caliente.....................................................................................................13

1.- Con*i+uración de "lta 6isponi#ilidad........................................................................................1)

11.- Prue#a de la "lta 6isponi#ilidad ................................................................................................112.- Conclusiones ..............................................................................................................................21

13.- 7i#lio+ra*5a.................................................................................................................................22

8/16/2019 Proxmox HA

3/22

!"# In$rod%cc&'n

El pro'ecto consiste en la instalación ' con*i+uración de un Clster de virtualiación en "lta

6isponi#ilidad mediante Proxmox usando almacenamiento compartido ,8 cu'o propósitoes tener un entorno de virtualiación con dos nodos por lo cuál siempre tendremos

disponi#les nuestros recursos8 por lo que podremos mi+rar máquinas virtuales tanto en *r5ocomo en caliente8 además de tener siempre nuestras máquinas disponi#les si uno de los dosnodos cae o se apa+a

2"# Pro()o( *&r$%al En+&ron)en$

Es una solución completa de virtualiación de servidores #asada en sistemas de códi+o

a#ierto. Permite la virtualiación tanto so#re 9V4 como contenedores ' +estiona máquinasvirtuales8 almacenamiento8 redes virtualiadas ' clsters en "lta 6isponi#ilidad.

Proxmox VE es un pro'ecto de códi+o a#ierto8 licenciado #a:o la ;icencia P#lica

8/16/2019 Proxmox HA

4/22

2"2"# Co)-arac&'n con los de).s s&s$e)as de +&r$%al&/ac&'n

Pro()o( *E *M0are+S-1ere

&ndo0s 34-er#* C&$r&(XenSer+er

S&s$e)asO-era$&+osSo-or$ados

indoAs ';inux$Bvm&

indoAs8;inux8 =,ID

indoAs$soportelinux limitado&

indoAs$soporte linux limitado&

O-en So%rce I , , I

Con$enedoresO-en*5

I , , ,

Al$a D&s-on&6&l&dad I I Requiere ailoverclusterin+ 4icroso*t

I

Co-&as dese7%r&dad de las).,%&nas encal&en$e

I I ;imitado I

M&7rac&'n encal&en$e de).,%&nas +&r$%ales

I I I I

M.(&)a RAM 4CP8 -or 1os$

1) CP= @ 2

?7 Ram

1) CP= @ 2

?7 Ram

)! CP= @ 1 ?7 Ram

9"# Al$a d&s-on&6&l&dad :3A;

Entendemos alta disponi#ilidad como un protocolo de diseFo del sistema ' su

implementación asociada que ase+ura un cierto +rado de continuidad operacional durante unper5odo de tiempo esta#lecido. ;o que es decir tendremos una estructura por la cuál nuestros

recursos estarán siempre disponi#les8 está estructura es un clster con dos máquinas queactuarán como nodos.

8/16/2019 Proxmox HA

5/22

,odo ecundario>

,om#re de la máquina> proxmox2.perea.com

IP> 12.1)0.1.11

ervidor ,

IP> 12.1)0.1.13

="# Ins$alac&'n de Pro()o(

" continuación se detallará la instalación de Proxmox en las máquinas que actuarán como

nodos8 la iso de instalación se Ga sacado de Gttp>@@AAA.proxmox.com@es@doAnloads8 laversión usada del pro+rama es la 3.3.

En primer lu+ar tras aceptar la licencia del pro+rama tendremos que ele+ir el disco duro queutiliaremos8 proxmox por de*ecto no permite seleccionar particiones de un mismo disco

por la que la instalación se realiara usando todo el disco seleccionado.

http://www.proxmox.com/es/downloadshttp://www.proxmox.com/es/downloads

8/16/2019 Proxmox HA

6/22

" continuación seleccionamos la ona Goraria de nuestro servidor8 esto es importante 'a quees necesario que los nodos del clster ten+an la misma Gora

;o si+uiente es ele+ir la contraseFa de administrador del nodo8 esta sera la contraseFa del

root ' con la que accederemos v5a Ae#

El si+uiente paso es el más importante de la instalación 'a que tendremos que esco+er elnom#re de la máquina además de la IP 8 el Gostname no podremos cam#iarlo una veinstalado asi que tendremos que esco+erlo con cuidado

"demás proxmox desaconse:a cam#iar la IP una ve instalado el sistema8 por lo que

de#er5amos introducir una IP que estemos se+uro que nos valdrá.

=na ve terminado estos pasos comenara la instalación

8/16/2019 Proxmox HA

7/22

Cuando termine la instalación podemos acceder v5a Ae# al nodo usando su ip>

https://192.168.1.10:8006

Para la instalación del anterior nodo se Gan se+uido los mismos pasos cam#iando la IP ' elnom#re de la máquina.

>"# Con?&7%rac&'n al)acena)&en$o N@S

,uestros nodos almacenara los datos del clster en un disco duro compartido mediante,8 aqu5 +uardaran los discos duros pertenecientes a las máquinas virtuales que creemos

En primer lu+ar instalamos los si+uientes paquetes>

aptitude install nfs-kernel-server nfs-common

=na ve instalados tendremos que con*i+urar el *icGero @etc@exports donde indicaremos el

directorio en este caso que queremos importar ' que máquinas podrán acceder a el>/mnt/NFS 192.168.1.0/24(rw)

6onde en esta linea @mnt@, es el directorio que se exportara8 ' Gemos con*i+urado quesea accesi#le desde todos los ordenadores de la red con accesso de lectura ' escritura

Para no tener pro#lemas de permisos a la Gora de acceder cam#iamos los propietarios del

directorio a exportar

chown nobody:nogroup /mnt/NFS

"Gora en nuestros nodos vamos a indicar que usen este almacenamiento compartido por lo

que nos vamos a Centro de 6atos H "lmacenamiento 8 pulsamos en "Fadir ' , 'con*i+uramos las opciones>

8/16/2019 Proxmox HA

8/22

Pulsamos en aFadir ' vemos como 'a disponemos del almacenamiento>

"# Creac&'n de ).,%&na +&r$%al

Vamos a crear una máquina virtual para compro#ar el almacenamiento anteriormente

con*i+urado además de ver como realiar esto en Proxmox

En primer lu+ar necesitamos importar la I de instalación del sistema operativo que

queramos usar8 para ello nos vamos al almacenamiento local del nodo ' seleccionamos laopción Car+ar

Pulsamos en Car+ar ' comenara la importación8 una ve esto termine se copiaran los datosde I

8/16/2019 Proxmox HA

9/22

podemos ver que tenemos la I disponi#le en nuestro contenido local

Procedemos a crear la máquina pulsando el la esquina superior derecGa JCrear V4J

Indicamos la I que car+amos anteriormente>

el paso mas importante de la creación de la máquina donde seleccionamos que se

almacenara la ima+en de la máquina en nuestro almacenamiento compartido

8/16/2019 Proxmox HA

10/22

;o si+uiente ser5a seleccionar el procesador8 la memoria ' la con*i+uración de red de lamáquina8 una ve indicado esto pulsamos en Con*irmar ' iniciamos la máquina 8 una ve

iniciada pulsamos en consola para acceder a ella

Como podemos ver la máquina Ga iniciado correctamente ' esta lista para la instalación

"# Creac&'n del Cls$er

?enemos 'a nuestros dos nodos instalados ' con*i+urados con el almacenamientocompartido as5 que vamos a con*i+urar el clster.

Creamos el clster en el nodo principal con el si+uiente comando>

root@proxmox:~# pvecm create CLUSTER-PROXRestarting pve cluster filesystem: pve-cluster[dcdb] notice:

 wrote new cluster config '/etc/cluster/cluster.conf' .

Starting cluster:

Checking if cluster has been disabled at boot... [ OK ]

Checking Network Manager... [ OK ]

Global setup... [ OK ]

Loading kernel modules... [ OK ]

Mounting configfs... [ OK ]

Starting cman... [ OK ]

8/16/2019 Proxmox HA

11/22

  Waiting for quorum... [ OK ]

Starting fenced... [ OK ]

Starting dlm_controld... [ OK ]

Tuning DLM kernel config... [ OK ]

Unfencing self... [ OK ]

=na ve creado compro#amos que este #ien creado>

root@proxmox:~# pvecm status

Version: 6.2.0

Config Version: 1

Cluster Name: CLUSTER-PROX

Cluster Id: 37390Cluster Member: Yes

Cluster Generation: 4

Membership state: Cluster-Member

Nodes: 1

Expected votes: 1

Total votes: 1

Node votes: 1Quorum: 1

Active subsystems: 5

Flags:

Ports Bound: 0

Node name: proxmox

Node ID: 1

Multicast addresses: 239.192.146.160Node addresses: 192.168.1.10

Como podemos ver aGora mismo nuestro cluster solo cuenta con un nodo por lo quetendremos que aFadir el otro nodo8 esto lo Garemos con el si+uiente comando>

root@proxmox2:~# pvecm add 192.168.1.10

copy corosync auth key

stopping pve-cluster service

Stopping pve cluster filesystem: pve-cluster.

backup old database

8/16/2019 Proxmox HA

12/22

Starting pve cluster filesystem : pve-cluster.

Starting cluster:

Checking if cluster has been disabled at boot... [ OK ]

Checking Network Manager... [ OK ]

Global setup... [ OK ]Loading kernel modules... [ OK ]

Mounting configfs... [ OK ]

Starting cman... [ OK ]

Waiting for quorum... [ OK ]

Starting fenced... [ OK ]

Starting dlm_controld... [ OK ]

Tuning DLM kernel config... [ OK ]Unfencing self... [ OK ]

generating node certificates

merge known_hosts file

restart services

Restarting PVE Daemon: pvedaemon.

Restarting PVE API Proxy Server: pveproxy.

successfully added node 'proxmox2' to cluster.

Cuando estKn aFadidos los dos nodos al clster compro#amos que este #ien con*i+urado>

root@proxmox:~# pvecm status

Version: 6.2.0

Config Version: 4

Cluster Name: CLUSTER-PROX

Cluster Id: 37390Cluster Member: Yes

Cluster Generation: 80

Membership state: Cluster-Member

Nodes: 2

Expected votes: 2

Total votes: 2

Node votes: 1Quorum: 2

8/16/2019 Proxmox HA

13/22

Active subsystems: 6

Flags:

Ports Bound: 0 177

Node name: proxmox

Node ID: 1Multicast addresses: 239.192.146.160

Node addresses: 192.168.1.10

6onde podemos ver que el nmero de nodos que lo *orman es dos ' el nom#re del clster esel que indicamos CLUSTER-PROX ,por lo que 'a tenemos nuestro clster creado por loque al irnos al panel Ae#

,os aparecen los dos nodos ' podemos ver que los dos nodos están conectados alalmacenamiento compartido $,&8 tam#iKn podemos comprar esto mediante la si+uienteinstrucción>

root@proxmox:~# pvecm nodes

Node Sts Inc Joined Name

1 M 88 2014-12-01 16:59:06 proxmox

2 M 92 2014-12-01 16:59:10 proxmox2

"# M&7rac&'n en ?río 4 en cal&en$e

"l tener un clster de dos nodos con*i+urado podemos en al+n momento tener la necesidadde mi+rar los recursos de un nodo a otro8 esto lo podemos realiar tanto en *r5o $la máquinaesta apa+ada& como en caliente $ la máquina esta encendida&

8/16/2019 Proxmox HA

14/22

En primer lu+ar realiaremos una mi+ración en *r5o.

Como podemos ver tenemos la máquina con la I6 11 apa+ada en el nodo proxmox '

queremos mi+rarla al nodo proxmox 2 que no tiene nin+una máquina virtual para ellopulsamos #otón derecGo so#ra la máquina ' seleccionamos mi+ración

Indicamos el nodo donde se mi+rara ' quitamos la opción JEn l5neaJ 'a que la máquina esta

apa+ada

,os aparecerá una ventana donde se nos detallara el proceso ' nos con*irmará que se Gami+rado correctamente8 as5 que 'a tenemos la máquina disponi#le en nuestro nodoproxmox2

8/16/2019 Proxmox HA

15/22

"Gora vamos a mi+rar en caliente la máquina 1 que esta iniciada en el nodo proxmox8queremos tenerla disponi#le en nuestro otro nodo sin necesidad de apa+arla por lo que

pulsamos #otón derecGo so#re la máquina ' seleccionamos 4i+ración

Por lo que esta ve si seleccionamos la opción en linea 'a que es una mi+ración en caliente

Como se Ga realiado la mi+ración correctamente vemos que tenemos la máquina disponi#le

en nuestro nodo proxmox2

8/16/2019 Proxmox HA

16/22

"demás podemos ver como se Ga realiado la mi+ración en el re+istro de la GerramientaAe#

Estos procesos ser5an mucGo mas lentos si no usáramos almacenamiento compartido 'a quetendr5amos que copiar las imá+enes de las máquinas de un nodo a otro mientras que as5 noGa' necesidad al+una de copia ' las mi+raciones duran se+undos

!"# Con?&7%rac&'n de Al$a D&s-on&6&l&dad

"Gora nos encar+aremos de con*i+urar nuestro clster para que *uncione en altadisponi#ilidad8 con la intención de que los recursos que eli:amos siempre estKn disponi#les.

En primer lu+ar en cada máquina tendremos que indicar la dirección IP ' el nom#re del otro

nodo que *orma el clster. Por lo que en la máquina proxmox aFadiremos la si+uiente lineaen el *icGero>

root@proxmox:~# cat /etc/hosts

127.0.0.1 localhost.localdomain localhost

192.168.1.10 proxmox.perea.com proxmox pvelocalhost

192.168.1.11 proxmox2.perea.com proxmox2

El *icGero Gost de proxmox2 es el si+uiente>

root@proxmox2:~# cat /etc/hosts

127.0.0.1 localhost.localdomain localhost

192.168.1.11 proxmox2.perea.com proxmox2 pvelocalhost

192.168.1.10 proxmox.perea.com proxmox

=na ve aFadidas las lineas correspondientes usaremos la Gerramienta de proxmox ence

para con*i+urar la "lta 6isponi#ilidad8 para ello nos vamos al *icGero @etc@de*ault@pve-cluster ' descomentamos la si+uiente linea>

E,CELMI,NO'esO

reiniciamos el servicio cman que se encar+a de ence>

root@proxmox:~# /etc/init.d/cman restart

8/16/2019 Proxmox HA

17/22

Cuando Ga'amos reiniciado el servicio incluimos el nodo en nuestro clster administradopor ence8 para incluirlo tenemos que utiliar la si+uiente instrucción>

root@proxmox:~# fence_tool join

Estos pasos detallados anteriormente tenemos que realiarlos en los dos nodos por lo que alterminar compro#amos que tenemos a las dos máquinas administradas por ence

root@proxmox:~# fence_tool ls

fence domain

member count 2

victim count 0

victim now 0

master nodeid 1

 wait state none

members 1 2

Como podemos ver con el comando utiliado tenemos dos miem#ros en el clster por lo que

se Ga realiado #ien esta con*i+uración.

" continuación podremos las opciones de con*i+uración de nuestro clster en el arcGivo de

con*i+uración @etc@pve@cluster.con*root@proxmox:~# cat /etc/pve/cluster.conf

8/16/2019 Proxmox HA

18/22

 

6onde indicamos los nom#res de nuestros nodos asi como su IP con la etiquetaJ*ancedeviceJ además de la cuenta de root de la máquina8 en la etiqueta JclusternodesJ

indicamos los nodos ' la acción que se realiaran las máquinas cuando estas se apa+uen.

Este *icGero de#emos con*i+urarlo en nuestros dos nodos.

a tenemos la con*i+uración ' nuestros nodos aFadidos en nuestro clster %"8 aGora

tendremos que terminar la con*i+uración v5a Gerramienta Ae#8 para ello nos vamos a centrode datos ' seleccionamos el apartado %"8 una ve dentro tendremos que aFadir una V4administrada mediante "lta 6isponi#ilidad para poder "ctivarla 8 pulsamos en la opción"Fadir H V4@C? administrado por %"

8/16/2019 Proxmox HA

19/22

eleccionamos que queremos administrar nuestra máquina con I6 1 ' que se auto inicieal iniciar el nodo

=na ve creado en nuestra con*i+uración que podemos ver en la Gerramienta Ae# se nosaFadirá la si+uiente linea

"demás podemos compro#ar esto viendo los detalles de la máquina virtual

6onde vemos la opción "dministrado por %" en i

!!"# Pr%e6a de la Al$a D&s-on&6&l&dad

Por ltimo vamos a compro#ar que nuestra máquina este correctamente administrada en"lta 6isponi#ilidad. Para ello en primer lu+ar vemos que en nuestro nodo proxmox tenemos

dos máquinas8 una administrada con %" ' otra que no8 ' en el nodo proxmox2 no tenemosnin+una máquina virtual

8/16/2019 Proxmox HA

20/22

=na ve visto el escenario la prue#a la Garemos parando el servicio R

8/16/2019 Proxmox HA

21/22

;a máquina virtual con el id 11 que no esta#a administrada mediante "lta 6isponi#ilidadsi+ue en el nodo que esta apa+ado por lo que no podr5amos utiliarla al contrario de la

máquina 1 administrada mediante %"

!2"# Concl%s&ones

4ontar un servicio proxmox en "lta 6isponi#ilidad no es apto para cualquiera8 proxmoxnos recomienda que el clster de#e contar con tres nodos además de una máquina para elalmacenamiento compartido8 por *alta de recursos 'o solo Ge podido conse+uir que mi

clster ten+a dos nodos esto si+ni*ica que Ga' perdida de in*ormación ' la %" no *uncionatodo lo #ien que de#er5a8 de#ido a esto es un impedimento 'a que no todo el mundo dispone

de ! máquinas para *ormar un clster8 por lo demás no tiene mucGa di*icultad la Gora decrear ' aFadir nodos al clster aunque si tiene al+o de di*icultad con*i+urar ence 'a que se

nos puede escapar al+una opción.

4i conclusión es que proxmox es una Gerramienta sencilla ' apta para quien ten+a lain*raestructura para montar el clster que podrá administrar mediante "lta 6isponi#ilidadsin mucGa di*icultad.

8/16/2019 Proxmox HA

22/22

!9"# B&6l&o7ra?ía

Gttp>@@pve.proxmox.com@AiBi@%i+GL"vaila#ilit'LClusterL>LimpleLversion

Gttp>@@pve.proxmox.com@AiBi@encin+

Gttps>@@pve.proxmox.com@AiBi@?Ao-,odeL%i+GL"vaila#ilit'LCluster

Gttp>@@comenandopormi.#lo+spot.com.es@213@2@una-cosa-di*erente-alta-disponi#ilidad.Gtml

Gttps>@@pve.proxmox.com@AiBi@%i+GL"vaila#ilit'LCluster

Gttp>@@usuariode#ian.#lo+spot.com.es@213@3@servidor-n*s-comparte-carpetas-en-la-red.Gtml

http://pve.proxmox.com/wiki/High_Availability_Cluster_:_Simple_versionhttp://pve.proxmox.com/wiki/Fencinghttps://pve.proxmox.com/wiki/Two-Node_High_Availability_Clusterhttp://comenzandopormi.blogspot.com.es/2013/02/una-cosa-diferente-alta-disponibilidad.htmlhttp://comenzandopormi.blogspot.com.es/2013/02/una-cosa-diferente-alta-disponibilidad.htmlhttps://pve.proxmox.com/wiki/High_Availability_Clusterhttp://usuariodebian.blogspot.com.es/2013/03/servidor-nfs-comparte-carpetas-en-la-red.htmlhttp://usuariodebian.blogspot.com.es/2013/03/servidor-nfs-comparte-carpetas-en-la-red.htmlhttp://pve.proxmox.com/wiki/High_Availability_Cluster_:_Simple_versionhttp://pve.proxmox.com/wiki/Fencinghttps://pve.proxmox.com/wiki/Two-Node_High_Availability_Clusterhttp://comenzandopormi.blogspot.com.es/2013/02/una-cosa-diferente-alta-disponibilidad.htmlhttp://comenzandopormi.blogspot.com.es/2013/02/una-cosa-diferente-alta-disponibilidad.htmlhttps://pve.proxmox.com/wiki/High_Availability_Clusterhttp://usuariodebian.blogspot.com.es/2013/03/servidor-nfs-comparte-carpetas-en-la-red.htmlhttp://usuariodebian.blogspot.com.es/2013/03/servidor-nfs-comparte-carpetas-en-la-red.html