29/08/2012 1 UTEM ASIGNATURA COMPUTACIÓN PARALELA Departamento de Computación e Informática Facultad de Ingeniería 2012 Oscar Magna V. Civil Engineering on Computer Science & MBA Dr (c) in Business Management and Administration Technological Metropolitan University Santiago of Chile [email protected], [email protected]http://omagna.tripod.com (56-2) 787.7211 C H I L E. UTEM OMV - INF 5141 COMPUTACION PARALELA -2- COMPUTACIÓN PARALELA INF - 5141 INGENIERÍA CIVIL EN COMPUTACIÓN Mención Informática UNIVERSIDAD TECNOLÓGICA METROPOLITANA Oscar E. Magna V. Ingeniero Civil en Informática & MBA Dr (c ) en Administración y Dirección de Empresas [email protected]http:// omagna.tripod.com Slide-2.2 2012-II
Transcript
29/08/2012
1
UTEMASIGNATURA
COMPUTACIÓN PARALELA
Departamento de Computación e Informática
Facultad de Ingeniería
2012
Oscar Magna V.Civil Engineering on Computer Science & MBADr (c) in Business Management and AdministrationTechnological Metropolitan UniversitySantiago of [email protected], [email protected] http://omagna.tripod.com(56-2) 787.7211C H I L E.
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 2 -
COMPUTACIÓN PARALELA
INF - 5141
INGENIERÍA CIVIL EN COMPUTACIÓN Mención Informática
UNIVERSIDAD TECNOLÓGICA METROPOLITANA
Oscar E. Magna V.Ingeniero Civil en Informática & MBA
• Hardware:– Múltiples procesadores– Múltiples memorias– Redes de interconexión
• Software:– Sistemas Operativos paralelos– Programas orientados a concurrencia
• Objetivo: Utilizar estos elementos para– Mejorar el Speed-up: Tp = Ts / p– Abordar problemas con alta demanda de memoria
29/08/2012
3
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 5 -
Plataformas para procesamiento paralelo
TOPOLOGÍAS Y ARQUITECTURAS
• Organización lógica: Visión que tiene el usuario de la máquina, desde el punto de vista del software del sistema.
• Organización física: La arquitectura hardware real.• La Arquitectura física es, hasta cierto punto,
independiente de la arquitectura lógica.
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 6 -
Elementos de la organización lógica
TOPOLOGÍAS Y ARQUITECTURAS
If (C == 0 )C <= A
elseC <= A / B;
29/08/2012
4
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 7 -
Elementos de la organización lógica
TOPOLOGÍAS Y ARQUITECTURAS
• Dos alternativas diferenciadas:
–Plataformas de paso de mensajes.–Plataformas con espacio de memoria compartida.
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 8 -
Paso de mensajes
TOPOLOGÍAS Y ARQUITECTURAS
Paso de mensajes:– Cada procesador tiene un espacio de memoria propio
e independiente.– La comunicación se produce a través de mensajes
entre el procesador emisor y el receptor.– Operaciones básicas: send y receive.– Estándares: MPI, PVM.– Ejemplos: IBM SP, SGI Origin 2000, clusters de
estaciones de trabajo.
29/08/2012
5
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 9 -
Espacio de memoria compartida
TOPOLOGÍAS Y ARQUITECTURAS
Espacio de memoria compartidaUMA: Acceso a memoria uniforme.NUMA: Acceso a memoria no uniforme.ccNUMA: Acceso a memoria no uniforme con coherencia de cache.
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 10 -
Problema de coherencia de cache
TOPOLOGÍAS Y ARQUITECTURAS
Problema de coherencia de cache en lossistemas de memoria compartida:– Se debe mantener la coherencia en múltiples copias de los
mismos datos.– Imprescindible para mantener la semántica de los
programas.– Protocolos para respetar la coherencia de cache:
• Invalidación• Actualización.
29/08/2012
6
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 11 -
Problema de coherencia de cache
TOPOLOGÍAS Y ARQUITECTURAS
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 12 -
Protocolos de Invalidación / Actualización
TOPOLOGÍAS Y ARQUITECTURAS
• El protocolo óptimo depende de las características de cada aplicación: Frecuencia de operaciones de lectura / escritura.
• Problemas con compartición falsa: Líneas de cache comunes actualizadas en palabras distintas.
• Equilibrio entre costes de comunicación (actualización) y ciclos de espera (invalidación).
• Los esquemas actuales se basan en el protocolo de invalidación.
29/08/2012
7
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 13 -
Invalidación: Coherencia de datos
TOPOLOGÍAS Y ARQUITECTURAS
• Compartido: Dato que está presente en la memoria cache de más de un procesador, pero que aún no ha sido modificado.
• No-válido: Dato en la memoria cache de un procesador, que ha sido modificado por otro.
• Sucio: Dato en la memoria cache de un procesador que lo ha modificado. Toda referencia a este dato será servida por este procesador, y no por la memoria principal.
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 14 -
Coherencia de datos: Protocolo snoopy
TOPOLOGÍAS Y ARQUITECTURAS
• Orientado al uso de bus común.• Cada procesador mantiene la información de datos
compartidos / no-válidos / sucios.• Se realiza una escucha activa del bus, y cuando se detecta una
escritura sobre un dato compartido, se actualiza su estado.• Problema: Genera mucho tráfico en el bus, ya que cada
escritura hay que declararla.
29/08/2012
8
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 15 -
Coherencia de datos: Basado en directorio
TOPOLOGÍAS Y ARQUITECTURAS
• La memoria global es la que mantiene actualizada la información de datos compartidos / no-válidos / sucios.
• Mantiene una lista de todos los procesadores que comparten un cierto dato.• Cuando un procesador modifica un dato, lo comunica a la memoria
principal, y esta a los procesadores que lo comparten.
• Problema: La memoria principal se convierte en cuello de botella.
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 16 -
Organización física
TOPOLOGÍAS Y ARQUITECTURAS
• Arquitectura paralela ideal:
– PRAM (Parallel Random Access Machine).
• Modelos de PRAM:
– EREW/ERCW/CREW/CRCW (Exclusivo/Concurrente
Lectura/Escritura)
– Resolución de escritura concurrente: Común, Arbitrario, Prioridad y
Suma.
29/08/2012
9
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 17 -
Organización física
TOPOLOGÍAS Y ARQUITECTURAS
• Redes de interconexión (RICs):– Proporcionar conexión entre los distintos procesadores y
memorias del sistemas.• Tipo de redes
– Estática:• Enlaces punto a punto• Históricamente usada para conectar procesadores
(memoria distribuida)– Dinámica:
• Formada por elementos de conmutación• Históricamente usada para conectar procesadores con
memorias (memoria compartida)
UTEM
OMV - INF 5141 COMPUTACION PARALELA - 18 -
RICs estáticas y dinámicas
TOPOLOGÍAS Y ARQUITECTURAS
Estática Dinámica
29/08/2012
10
UTEM
OMV - INF 5141
Métricas de evaluación para RICs …………… (I)
TOPOLOGÍAS Y ARQUITECTURAS
• Diámetro: Distancia máxima entre cualquier par de nodos (Cuanto más pequeño mejor).
• Conectividad: Mínimo número de arcos que hay que eliminar para convertir la red en dos subredes desconectadas (Cuanto más grande mejor).
• Ancho de Bisección: Mínimo número de arcos que hay que eliminar para dividir la red en dos mitades iguales (Cuanto más grande mejor).
UTEM
OMV - INF 5141
Métricas de evaluación para RICs …………… (II)
TOPOLOGÍAS Y ARQUITECTURAS
• Ancho de Banda de Bisección: Mínimo volumen de comunicación permitido entre dos mitades cualesquiera de la red (Cuanto más grande mejor).
• Costo: Número de enlaces en la red (Cuanto más pequeño mejor).
29/08/2012
11
UTEM
OMV - INF 5141
Métricas y redes dinámicas
TOPOLOGÍAS Y ARQUITECTURAS
El ancho de bisección es 4, Independientemente de la zona de corte
UTEM
OMV - INF 5141
Topologías de red: Bus …….. (I)
TOPOLOGÍAS Y ARQUITECTURAS
•Medio compartido.•La información es difundida.•Diámetro: O(1).•Conectividad: O(1).•Ancho de bisección: O(1).•Coste: O(p).
29/08/2012
12
UTEM
OMV - INF 5141
Topologías de red: Red matricial …….. (I)
TOPOLOGÍAS Y ARQUITECTURAS
•Basada en conmutación.•Soporta conexiones simultáneas.•Diámetro: O(1).•Conectividad: O(1)?•Ancho de bisección: O(p)?•Costo: O(p2).
UTEM
OMV - INF 5141
Topologías de red: Multi-etapa …….. (I)
TOPOLOGÍAS Y ARQUITECTURAS
• Caso particular: Red Omega ( )• p procesadores log p etapas p/2 conmutadores por etapa
29/08/2012
13
UTEM
OMV - INF 5141
Arquitecturas de conmutación multi-etapa
TOPOLOGÍAS Y ARQUITECTURAS
• Red omega completa de 8 entradas y 8 salidas.• 3 etapas y 4 conmutadores por etapa.
UTEM
OMV - INF 5141
Topologías de red: Completa y estrella ………. (IV)
TOPOLOGÍAS Y ARQUITECTURAS
Red completamente Red conectada enconectada (8 nodos) estrella (9 nodos)
29/08/2012
14
UTEM
OMV - INF 5141
Topologías de red: Estructuras cartesianas …….. (V)
TOPOLOGÍAS Y ARQUITECTURAS
UTEM
OMV - INF 5141
Topologías de red: Hipercubos …….. (VI)
TOPOLOGÍAS Y ARQUITECTURAS
Hipercubo: Malla con 2 nodos por dimensión y log p dimensiones.
Construcción de hipercubos a partir de otros con dimensiones inferiores.
0D - hipercubo
1D - hipercubo
2D - hipercubo 3D - hipercubo
4D - hipercubo
29/08/2012
15
UTEM
OMV - INF 5141
Topologías de red: Árboles …….. (VI)
TOPOLOGÍAS Y ARQUITECTURAS
•Sólo hay un camino entre cada par de nodos.
•Casos particulares:•Array lineal•Estrella
UTEM
OMV - INF 5141
Métricas de rendimiento: Resumen
TOPOLOGÍAS Y ARQUITECTURAS
29/08/2012
16
UTEM
OMV - INF 5141
Costos de comunicación en sistemas paralelos
TOPOLOGÍAS Y ARQUITECTURAS
• Paso de mensajes. El costo de comunicación de una operación de transferencia depende de:
– Tiempo de inicio ts: tiempo de preparación del mensaje por parte de la fuente y del destino (Añadir cabecera, corrección de errores, ejecución del algoritmo de enrutamiento, conexión entre fuente y destino).
– Tiempo de salto th: Tiempo de desplazamiento entre dos nodos conectados directamente (tiempo de enrutamiento o switching, latencia del router o switch).
– Tiempo de transferencia de palabra tw: Inverso del ancho del canal de comunicación (o ancho de banda).
UTEM
OMV - INF 5141
Store-and-forward y Cut-through
TOPOLOGÍAS Y ARQUITECTURAS
• Tmsg(L; m /m=1) = ts + tw L
• ts =tiempo de inicialización de mensaje.• tw =tiempo de transferencia por palabra.• th: tiempo de salto.
Modelo de costo de comunicación para un envío/recepción de un mensaje
• m: is the message length (size) in words
• L: is the number of links traversed
tcomm = ts + (mtw + th)L
Normalmente th es muy pequeño (del orden de los nano-segs) . Así, tcomm = ts + mLtw
29/08/2012
17
UTEM
OMV - INF 5141
Store-and-forward y Cut-through
TOPOLOGÍAS Y ARQUITECTURAS
Mensaje noDividido
Divididoen 2 partes
Divididoen 4 partes
tcom = ts + (m·tw + th)·Ltcom = ts + m·L·tw
tcom = ts + L·th + tw·m
• Tiempo de inicio ts.• Tiempo de salto th.• Tiempo de transferencia por palabra tw.
• m: is the message length (size) in words• L: is the number of links traversed
Mensaje 0 en camino a A, bloqueado por mensaje 3Mensaje 1 en camino a B, bloqueado por mensaje 0Mensaje 2 en camino a C, bloqueado por mensaje 1Mensaje 3 en camino a D, bloqueado por mensaje 2
---- > dirección deseada del mensaje
29/08/2012
18
UTEM
OMV - INF 5141
Modelo de costo de comunicaciones ……… consideraciones
TOPOLOGÍAS Y ARQUITECTURAS
• Costo del envío de un mensaje de tamaño m:
tcomm= ts + tw·m
• ts es mucho más grande que th, y en la mayoría de los casos, tw·m es más grande que th·L.
UTEM
OMV - INF 5141
Enrutamiento ordenado por dimensión
TOPOLOGÍAS Y ARQUITECTURAS
• Enrutamiento:– Algoritmo para determinar el camino que un mensaje
tomará desde la fuente hasta el destino.• Varias clasificaciones:
– Mínimo vs. No-mínimo.– Determinista vs. Adaptativo.
29/08/2012
19
UTEM
OMV - INF 5141
Mecanismos de enrutamiento
TOPOLOGÍAS Y ARQUITECTURAS
• Orden predefinido de las dimensiones.• Los mensajes se encaminan por cada dimensión, en el orden
establecido, hasta que no es posible continuar:– X-Y para mallas– E-cubo para hipercubos
UTEM
OMV - INF 5141
Transformaciones en la Topologías
TOPOLOGÍAS Y ARQUITECTURAS
• Mapeo entre redes:– Útil en los comienzos de la computación paralela, cuando
los algoritmos dependían de las topologías.• Métricas de calidad de las transformaciones:
– Congestión: Máximo número de enlaces de la topología inicial mapeados en un único enlace de la topología final.
– Dilatación: Máximo número de enlaces de la topología final, sobre los que se mapea un único enlace de la topología inicial.
– Expansión: Relación entre el número de nodos de ambas topologías.
29/08/2012
20
UTEM
OMV - INF 5141
Anillo a Hipercubo
TOPOLOGÍAS Y ARQUITECTURAS
• Los nodos del anillo se mapean al hipercubo siguiendo el código Gray reflejado.
• La dilatación y congestión es 1.
UTEM
OMV - INF 5141
Malla 2-D a Hipercubo
TOPOLOGÍAS Y ARQUITECTURAS
Malla 4x4 a Hipercubo 4-D Malla 2x4 a Hipercubo 3-D.
