PROYECTO INTEGRADOR DE LA CARRERA DE INGENIER ´ IA NUCLEAR OPTIMIZACI ´ ON DE ALGORITMOS DE RESOLUCI ´ ON DE LA ECUACI ´ ON DE TRANSPORTE CON ORIENTACI ´ ON A SU PARALELIZACI ´ ON Manuel Garc´ ıa Alumno Dr. Eduardo Villarino Director Miembros del Jurado Ing. Alexis Weir (Instituto Balseiro) Ing. Lourdes Torres (Instituto Balseiro) Junio de 2015 Divisi´ondeIngenier´ ıa Nuclear – INVAP S.E. Instituto Balseiro Universidad Nacional de Cuyo Comisi´on Nacional de Energ´ ıa At´ omica Argentina
Transcript
PROYECTO INTEGRADOR DE LA CARRERA DE
INGENIERIA NUCLEAR
OPTIMIZACION DE ALGORITMOS DE RESOLUCIONDE LA ECUACION DE TRANSPORTE CONORIENTACION A SU PARALELIZACION
Manuel GarcıaAlumno
Dr. Eduardo VillarinoDirector
Miembros del JuradoIng. Alexis Weir (Instituto Balseiro)
En estas expresiones ymin e ymax corresponden al intervalo de cuerdas que para un
angulo αp dado atraviesan las regiones y superficies en cuestion, contribuyendo a la
probabilidad de colision, y τ es la distancia en caminos libres medios calculada con la
seccion eficaz total Σi para cada material, cuya notacion de subındices se muestra en
la Figura 3.3. El volumen de la region i es Vi y Ask el area del sector angular k del
segmento s, definida como Ask = Ask1(ϕm,ϕm+1)k2(θn, θn+1). Ademas, los subındices
m y n corresponden a las discretizaciones azimutal y polar de los sectores angulares, y
ϕm = max(ϕm,tl,ϕm,sk) y θn = max(θn,tl, θn,sk).
3.3 Calculo de flujos de respuesta 27
Figura 3.3: Caminos opticos utilizados para el calculo de cada probabilidad de colision condependencia angular (Fuente: [4]).
Las funciones de Bickley parciales se definen segun
kin(τ, θ) =
∫ θ
0
e−τcos−1θcosn−1θdθ , (3.7)
con lo cual kin(τ, π/2) = Kin(τ), que es la funcion de Bickley estandar.
Una vez calculadas las probabilidades de colision, en el codigo CONDOR estas son
normalizadas a partir de las ecuaciones de balance, que pueden verse en [4].
Para el metodo de probabilidades de colision las ecuaciones anteriores se reducen
al caso con un solo sector angular k, es decir sin dependencia angular. En este caso, las
probabilidades de colision quedan expresadas en terminos de las funciones de Bickley
totales. En el codigo CONDOR se integran numericamente las probabilidades pj,i, y el
resto de las probabilidades se calculan mediante relaciones de balance.
Para ambos metodos, las expresiones para las probabilidades de colision son in-
tegradas numericamente mediante la Ecuacion 3.1, esto es utilizando las cuerdas de
integracion para evaluar sobre ellas las funciones de Bickley y sumando sobre todas las
cuerdas. Las funciones de Bickley son evaluadas numericamente mediante una expan-
sion en polinomios de Chebyshev optimizada.
3.3. Calculo de flujos de respuesta
Habiendose calculado las probabilidades de colision necesarias, los flujos en el sis-
tema pueden calcularse mediante la ecuacion de transporte monoenergetica correspon-
diente a esta formulacion
ΣiViϕi =∑
j
pi,jVj[Qj + Σtrs,jϕj] +
∑
s,k
pi,skJ−sk , (3.8)
donde se asume ϕi uniforme en Vi, siendo ϕi = ϕ(Vi). Σtrs,j es la seccion eficaz de
scattering con correccion de transporte y J−sk la corriente entrante en la superficie Ask.
La fuente de acople entre grupos, compuesta por las fuentes de in-scattering y de fision,
28 Calculos de celda: flujos de respuesta
esta dada por
Qi,g =∑
g′ =g
Σtrs,i,g′→gϕi,g′ +
χg
k
∑
g′
νΣf,i,g′ϕi,g′ , (3.9)
para el reactor asociado en k (el factor de multiplicacion), siendo Σtrs,i,g′→g la seccion
eficaz de scattering desde el grupo g′ al g, con correccion de transporte, νΣf,i,g′ la
cantidad de neutrones por fision multiplicada por la seccion eficaz de fision del grupo
g′ y χg el espectro de fision para el grupo g.
Ahora bien, la resolucion de los flujos en el metodo multigrupo a partir de la Ecua-
cion 3.8 implica iteraciones interiores costosas dentro de cada grupo. Teniendo en cuenta
que estas iteraciones deben realizarse para cada iteracion exterior, es conveniente re-
solver la ecuacion monoenergetica mediante otro enfoque. Para ello, se introducen los
flujos de respuesta y las probabilidades de multiples colisiones.
El flujo de respuesta a fuentes Xi,j se define como el flujo integrado en Vi producido
por una fuente unitaria en la region j. Luego, para calcularlo se anulan las corrientes
externas y las fuentes en todos los volumenes menos en la region j, y se calcula el
flujo en i mediante la Ecuacion 3.8. Por otro lado, el flujo de respuesta a corrientes
entrantes Yi,sk es el flujo integrado en Vi debido a una corriente unitaria en el sector
k del segmento s, y se calcula anulando las fuentes y todas las corrientes menos la del
sector sk, donde se aplica una corriente unitaria. Este proceso puede ser expresado en
forma matricial como
X = M−1P , (3.10)
Y = M−1γ , (3.11)
con [P ]i,j = pi,j , [γ]i,sk = pi,sk y [M ]i,j = δi,jΣi − Σs,ipi,j , siendo X e Y las matrices de
flujos de respuesta.
Una vez conocidos los flujos de respuesta, el flujo en cada grupo puede ser calculado
como
ϕ = XQ+ Y J− , (3.12)
donde ϕ, Q y J− son los vectores de flujos, fuentes y corrientes entrantes, respectiva-
mente. La Ecuacion 3.12 se utiliza en el esquema multigrupo para resolver los flujos en
cada grupo a partir de la fuente de acople dependiente del resto de los grupos.
En el metodo de probabilidades de colision la Ecuacion 3.12 basta para calcular los
flujos en el sistema para cada energıa. Las condiciones de borde de vacıo o de reflexion
especular son tenidas en cuenta en el calculo de las probabilidades de colision, como ya
se menciono. Para condiciones de borde con albedo, la corriente entrante J− se calcula
a partir de la probabilidad de escape de multiples colisiones y del albedo del sistema.
En el metodo HRM, por el contrario, primero deben calcularse las corrientes de
acople entre nodos. Para esto se necesitan las probabilidades de escape E y las trans-
3.4 Calculo de probabilidades de colision y flujos de respuesta en paralelo 29
misiones T de multiples colisiones, que se pueden expresar matricialmente como
E = e+KX , (3.13)
T = t+KY , (3.14)
con [e]sk,i = psk,i, [t]sk,tl = psk,tl y [K]sk,j = Σs,jpsk,j . Con estas matrices pueden calcu-
larse iterativamente las corrientes entrantes mediante
J+ = T J− + EQ , (3.15)
si las corrientes salientes J+ estan relacionadas geometricamente con las entrantes
segun J+ = HJ−. De esta forma, una vez conocida la fuente de fision y scattering para
el grupo g se pueden calcular las corrientes entrantes a cada nodo iterando sobre la
Ecuacion 3.15 y los flujos mediante la Ecuacion 3.12.
En resumen, el calculo de los flujos de respuestaX e Y , y de E y T en HRM, consiste
fundamentalmente en operaciones matriciales a partir de las probabilidades de colision
integradas sobre las cuerdas. Estas matrices deben ser calculadas independientemente
para cada grupo, ya que caracterizan a la ecuacion de transporte monoenergetica.
Para concluir, es importante mencionar que en los calculos de quemado se pueden
evaluar los flujos de respuesta mediante metodos variacionales. Si la variacion de las
secciones eficaces de transporte y de self-scattering entre pasos de quemado, para un
dado grupo, es menor que una cierta tolerancia, entonces X e Y pueden ser estimados
(ver [5]) como
Xn = [I+Xn−1(δΣ− δΣs)]−1Xn−1 , (3.16)
Yn = [I+Xn−1(δΣ− δΣs)]−1Yn−1 , (3.17)
si δΣ = Σn−Σn−1, δΣs = Σn,s−Σn−1,s, I es la matriz identidad y n el paso de quemado.
Esta forma de evaluar los flujos de respuesta es significativamente menos costosa que
mediante el metodo usual, ya que no se necesita evaluar las probabilidades de colision,
y el calculo de X e Y es mas simple. En la version del codigo CONDOR optimizada en
este trabajo, esta aproximacion se utiliza en el metodo de probabilidades de colision,
pero tambien puede ser implementada para HRM.
3.4. Calculo de probabilidades de colision y flujos
de respuesta en paralelo
En esta seccion se analizan las diversas formas en las que el calculo de las probabi-
lidades de colision y de los flujos de respuesta puede ser paralelizado. Se presentan los
30 Calculos de celda: flujos de respuesta
algoritmos, con sus ventajas y desventajas, de forma conceptual. Ademas, se muestran
algunos ejemplos concretos de la implementacion en OpenMP. Los resultados de estos
metodos se comentan en la seccion siguiente.
3.4.1. Paralelizacion por grupos
Las matrices X, Y , E y T (solo X e Y en probabilidad de colision) deben ser
calculadas para todos los grupos de energıa individualmente, ya que cada grupo tiene
secciones eficaces, y por lo tanto probabilidades de colision, diferentes. Entonces, el
calculo se puede realizar en paralelo en este sentido.
Se proponen dos algoritmos diferentes. Por un lado, se pueden calcular las proba-
bilidades de colision y los flujos de respuesta de cada grupo en un mismo procesador,
con lo cual no es necesaria la interaccion entre procesadores. Por otro lado, se pueden
realizar estos calculos por separado, pero se necesita la interaccion entre procesadores
para poder utilizar las probabilidades de colision para calcular los flujos de respuesta
correspondientes.
3.4.1.1. Algoritmo sin sincronizacion
Para calcular las probabilidades de colision y flujos de respuesta de diferentes grupos
en paralelo, basta con dividir el loop sobre los grupos entre los procesadores disponibles.
Para esto, se puede utilizar paralelismo de tasks, generando un task por grupo, o
paralelismo de loop, simplemente asignando los grupos a distintos procesos.
Esta estrategia lleva a un algoritmo de granularidad gruesa, ya que se genera una
tarea relativamente costosa por cada grupo, compuesta por la integracion de las proba-
bilidades de colision y el calculo de X, Y , E y T . Ademas, la programacion es directa,
ya que no se necesita interaccion ni sincronizacion entre procesos. Sin embargo, este
esquema presenta algunas limitaciones.
Por un lado, el numero de procesadores que es posible utilizar esta limitado al
numero de grupos, con lo cual si se cuenta con mas nucleos que grupos quedan recursos
sin usar. Sin embargo, es mas importante el desbalance de cargas entre procesadores
producida por el hecho de que en general el numero de grupos no es multiplo del numero
de nucleos disponibles.
Si, por ejemplo, se utiliza una biblioteca de datos nucleares de 69 grupos (valor
tıpico) y se tienen 16 procesadores, la eficiencia maxima alcanzable es del 86,25%.
Para 64 nucleos la eficiencia maxima disminuye al 54%, y el tiempo de calculo con 64
procesadores sera el mismo que con 35. Luego, la paralelizacion por grupo ofrece una
escalabilidad fuerte (con numero de grupos constante) relativamente pobre.
La escalabilidad debil, considerando el aumento del numero de grupos y del tamano
del sistema, tambien es muy limitada para este metodo. Esto se debe a que la tendencia
3.4 Calculo de probabilidades de colision y flujos de respuesta en paralelo 31
Algoritmo 3.1 Paralelizacion por grupos sin sincronizacion para el metodo de proba-bilidades de colision.!$OMP parallel shared(X, Y, ...) private(...)!$OMP do schedule(...)for g = 1 to G do
RT, XS(g) ⇒ PC(g)PC(g) ⇒ X(g), Y (g)
end for!$OMP end do!$OMP end parallel
mas comun es aumentar el tamano del sistema a calcular dejando el numero de grupos
constante.
Otro factor que contribuye al desbalance de cargas proviene del truncamiento del
camino optico de los neutrones en el calculo de las probabilidades de colision. Al in-
tegrar numericamente las probabilidades de colision sobre las cuerdas de integracion
se considera que los neutrones no pueden viajar mas alla de un cierto numero de ca-
minos libres medios τ , a partir del cual el valor de la funcion de Bickley se considera
despreciable. Ahora bien, el camino libre medio en los grupos rapidos es mas grande
que en los grupos termicos, ya que las secciones eficaces son menores, con lo cual se
debe integrar sobre cuerdas mas largas. Para un combustible MTR con agua liviana en
HRM, por ejemplo, el calculo de las probabilidades de colision en el grupo de mas alta
energıa es aproximadamente un 10% mas costoso que en el grupo menos energetico.
Por otro lado, cuando se usa el metodo variacional para calcular los flujos de res-
puesta (en el caso del CONDOR en el metodo de probabilidades de colision) tambien
puede ser difıcil generar cargas similares para todos los procesadores. Esto se debe a
que entre pasos de quemado las secciones eficaces se modifican de forma muy diferente
para los distintos grupos. Luego, el metodo variacional en general es utilizado en una
cierta fraccion de los grupos, dependiendo de los parametros del sistema. En este caso,
la mejor opcion es el paralelismo mediante tasks o la asignacion dinamica de iteraciones
del loop sobre los grupos, ya que de esta forma el algoritmo se adapta mas facilmente
a diferencias en los costos de calcular cada grupo.
Por ultimo, la paralelizacion por grupo multiplica la memoria necesaria por el nume-
ro de procesadores utilizados. Esto se debe a que en el caso secuencial se calculan las
matrices X, Y , E y T para un grupo determinado y despues pueden ser guardadas
en el disco para ser utilizadas luego en el calculo multigrupo. En el calculo en parale-
lo existen en memoria al mismo tiempo tantos juegos de matrices como procesadores
esten siendo utilizados.
La implementacion en OpenMP para el caso del metodo de probabilidades de coli-
sion y utilizando paralelismo de loop corresponde al Algoritmo 3.1. Las instrucciones
32 Calculos de celda: flujos de respuesta
marcadas con !$OMP representan directivas de OpenMP. En primer lugar, el master
thread crea un grupo de threads con la directiva parallel (etapa de fork), donde se
especifican las variables que deben ser compartidas por los threads y las que deben
ser privadas. A continuacion, la directiva do significa que las iteraciones del loop so-
bre los G grupos seran distribuidas entre los threads creados de la forma indicada por
la clausula schedule. Una vez que todas las iteraciones han sido llevadas a cabo, la
directiva end parallel determina la desaparicion de todos los threads creados (join).
Cada iteracion realizada en paralelo comienza con en el calculo de las probabilidades
de colision para el grupo g, a partir del ray tracing (RT ) y las secciones eficaces
multigrupo (XS ). A continuacion, se obtienen los flujos de respuesta X e Y del sistema,
a partir de las probabilidades de colision. Para el metodo HRM deben calcularse ademas
la transmision y la probabilidad de escape de multiples colisiones.
3.4.1.2. Algoritmo con sincronizacion
Una alternativa a este algoritmo consiste en calcular las probabilidades de colision
y los flujos de respuesta por separado, esto es en distintos procesadores. Obviamente,
para calcular los flujos de respuesta y las probabilidades de multiple colision en un
grupo dado se necesitan sus probabilidades de colision, con lo cual es necesaria la
sincronizacion e interaccion de los procesadores.
Una posible implementacion de este esquema en OpenMP utilizando paralelismo
de tasks, para el metodo HRM, es el Algoritmo 3.2. En primer lugar el master thread
crea un grupo de threads. El codigo es ejecutado por uno de los threads (single), que
crea tasks que pueden ser llevados a cabo por cualquier thread del grupo. Luego de que
todos los tasks hayan sido completados, los threads adicionales desaparecen.
Cada task generado en el primer loop sobre los grupos consiste en el calculo de las
probabilidades de colision en los N nodos para un grupo g, a partir del ray tracing
para cada nodo n y las secciones eficaces del grupo g. Una vez que un thread calcula
las probabilidades de colision para un grupo, la directiva flush hace que su cache sea
coherente con la memoria principal, para que estas sean visibles por los otros threads.
A continuacion, se actualiza la componente g de flags de forma atomica, es decir que
si otro thread esta tratando de leer esta variable vera el resultado nuevo o el viejo,
pero no podra obtener una copia incompleta de la actualizacion. Por ultimo, el valor
actualizado de flags(g) es copiado a DRAM para que sea visible por el resto del grupo.
El segundo loop sobre los grupos genera tasks que se componen del calculo de
las matrices X, Y , E y T para cada grupo g, para todos los elementos del sistema.
Ahora bien, para cada grupo se necesitan las probabilidades de colision, que pueden ser
calculadas por un thread diferente al que calcula los flujos de respuesta o pueden estar
siendo calculadas al momento de ejecutar el task. Para ello, el while loop inicial solo se
3.4 Calculo de probabilidades de colision y flujos de respuesta en paralelo 33
Algoritmo 3.2 Paralelizacion por grupos con sincronizacion para el metodo HRM.
!$OMP parallel shared(PC,X, Y,E, T, flags, ...) private(n, flag, ...)!$OMP singlefor g = 1 to G do
Una vez que el flujo para un grupo es calculado, se utiliza la directiva flush para
que estos sean visibles por resto de los threads. Por ultimo, se actualiza atomicamente
la variable flags para comunicar al equipo de threads que los flujos de la iteracion t
estan disponibles para ese grupo.
En cuanto a la eficiencia de cada iteracion exterior, si se tiene un numero de proce-
sadores y un numero de grupos tal que se pueden distribuir igual cantidad de grupos
para cada procesador la aceleracion serıa optima. Sin embargo, en general este no es el
caso, con lo cual se podrıa perder mucha eficiencia si una fraccion de los procesadores
reciben menos grupos.
Por ultimo, en el lımite de usar un procesador por grupo es posible que las iteracio-
nes termicas ya no sean necesarias, porque al no aprovechar el sentido de moderacion
4.2 Esquema multigrupo en paralelo 47
de los neutrones es probable que todos los flujos requieran un numero similar de itera-
ciones para converger.
4.2.1.2. Resultados en CONDOR
Para la paralelizacion por grupos de las iteraciones exteriores en el codigo CONDOR
se consideraron cuatro opciones diferentes. Por un lado, se implemento el calculo en
paralelo de bloques de grupos contiguos en energıa, aprovechando la moderacion de
los neutrones en cada procesador. Por otro lado, se utilizo un calculo en paralelo por
grupos en una distribucion cıclica tipo Round-Robin (similar a la forma en la que
se reparte la baraja en un juego de cartas), sin seguir el slowing-down. Ambos casos
fueron implementados con y sin comunicacion entre procesadores, es decir utilizando
en el calculo de la fuente de scattering los flujos actualizados por cualquier procesador
o solo por un mismo procesador. En este caso las iteraciones termicas tambien son
realizadas en paralelo.
Para analizar el desempeno de estas cuatro opciones se considero el calculo de celda
de un elemento combustible estandar de un reactor MTR de placas paralelas generico.
Se obtuvo el numero total de iteraciones (exteriores y termicas) necesarias para alcanzar
la convergencia, en funcion del numero de procesadores utilizados.
Como puede verse en la Figura 4.1, el numero de iteraciones aumenta abruptamente
al paralelizar las iteraciones exteriores. En todos los casos se tiene una velocidad de
convergencia de menos del 25% del calculo secuencial a partir de 3 o 4 procesadores.
Para el caso lımite en el que se calculan todas las fuentes de scattering con flujos sin
actualizar la velocidad de convergencia disminuye al 16%.
Para igualar el tiempo de calculo del esquema secuencial se necesitan aproxima-
damente 8 procesadores, como se ve en la Figura 4.2. A partir de ese punto se tiene
speedup mayor que la unidad, pero la eficiencia de la paralelizacion es muy pobre.
Por otro lado, se realizaron pruebas sin iteraciones termicas, es decir con cada
iteracion sobre la totalidad de los grupos. El numero de iteraciones en este caso fue
del mismo orden que en las implementaciones anteriores. Luego, teniendo en cuenta
que las iteraciones exteriores son mas costosas que las termicas, se concluyo que este
metodo no es conveniente.
A partir de estos resultados, se determino que la paralelizacion de las iteraciones
exteriores no es factible. Esto se debe a que acelerando cada iteracion exterior en ningun
caso se pudo compensar el aumento del numero total de iteraciones.
4.2.2. Paralelizacion por grupos de las iteraciones termicas
Teniendo en cuenta que calcular los grupos en paralelo en las iteraciones exteriores
lleva a una perdida de velocidad de convergencia que vuelve inviable al algoritmo, se
48 Calculos de celda: esquema multigrupo
2 4 6 8 10 12
Número de procesadores
0
20
40
60
80
100
120
140It
era
ciones
tota
les
Round-Robin, sin sincronizaciónEn bloques, sin sincronizaciónRound-Robin, con sincronizaciónEn bloques, con sincronización
Figura 4.1: Numero de iteraciones totales hasta la convergencia en funcion del numero deprocesadores para las cuatro implementaciones de la paralelizacion por grupos de las iteracionesexteriores.
2 4 6 8 10 12
Número de procesadores
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
Speedup
Round-Robin, sin sincronizaciónEn bloques, sin sincronizaciónRound-Robin, con sincronizaciónEn bloques, con sincronización
Figura 4.2: Speedup obtenido para el metodo multigrupo paralelizando las iteraciones exterio-res.
4.2 Esquema multigrupo en paralelo 49
pueden paralelizar solo las iteraciones termicas, en las cuales el acople de up-scattering
es mayor.
4.2.2.1. Analisis del algoritmo
En el caso de las iteraciones termicas la fuente de up-scattering es igual o mas
importante que la de fision, ya que no se tiene moderacion, si no que se conforma el
espectro termico de los neutrones. Esto hace que las razones fısicas para realizar las
iteraciones en el sentido de moderacion sean menos evidentes. Entonces, es de esperar
que al modificar la fuente de scattering paralelizando por grupo el aumento del numero
de iteraciones sea menor que en el caso anterior.
En consecuencia, dado que la opcion anterior resulta poco eficiente y hasta contra-
producente, se puede optar por realizar en paralelo solo las iteraciones termicas. En
CONDOR ademas se tiene la opcion de paralelizar las iteraciones con 1% y 10% de
up-scattering, o solo las de 10%, en las cuales el acople termico es mayor.
La implementacion de este metodo es esencialmente igual a la paralelizacion de las
iteraciones exteriores (Algoritmo 4.2). Sin embargo, en este caso se tendra solo una
parte del numero total de grupos, ya que el valor de gp sera el grupo de corte para las
iteraciones termicas del nivel establecido para paralelizar.
Por otro lado, hay que tener en cuenta que las iteraciones termicas constituyen una
fraccion de las iteraciones totales (externas y termicas). Luego, de esta forma se parale-
liza solo una porcion del algoritmo, con lo cual segun la ley de Amdahl la eficiencia de
la paralelizacion puede saturar con pocos procesadores, generando un speedup limitado.
Como consecuencia, puede ser necesario que esta opcion sea combinada con algun otro
metodo de paralelizacion alternativo, para generar un algoritmo con mayor porcion en
paralelo.
Este aspecto depende del tipo de reactor que se calcule. En reactores MTR o PWR,
por ejemplo, la fraccion optima de iteraciones termicas es menor que para reactores
PHWR, en los cuales el acople termico es mas fuerte. En este ultimo caso, esta forma
de paralelizar puede alcanzar para tener un algoritmo con una fraccion en paralelo
suficientemente alta para ofrecer una buena escalabilidad, sin necesidad de combinarse
con otro metodo. En un reactor rapido, por el contrario, las iteraciones termicas no
tienen sentido, con lo cual este metodo es inaplicable.
4.2.2.2. Resultados en CONDOR
Se implemento la paralelizacion por grupo en los dos niveles de iteraciones termi-
cas. Para el primer nivel (1%) tambien se realizan las iteraciones del segundo nivel
(10%) en paralelo. En ambos casos se utilizo el calculo de la fuente de scattering con
sincronizacion.
50 Calculos de celda: esquema multigrupo
2 4 6 8 10 12
Número de procesadores
16
18
20
22
24
26
28
30
Itera
ciones
tota
les
Niveles 1% y 10%Nivel 10%
Figura 4.3: Iteraciones totales (exteriores y termicas) hasta la convergencia en funcion delnumero de procesadores para la paralelizacion de los dos niveles de iteraciones termicas delesquema multigrupo de CONDOR.
2 4 6 8 10 12
Número de procesadores
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
1,8
2
Speedup
Niveles 1% y 10%Nivel 10%
Figura 4.4: Speedup para la paralelizacion de las iteraciones termicas en el metodo multigrupo.
Para evaluar cada algoritmo se utilizo el mismo calculo de MTR que para las itera-
ciones exteriores. El numero de iteraciones hasta la convergencia en funcion del numero
de grupos se muestra en la Figura 4.3. En ambos casos el hecho de calcular la fuente
de scattering con algunos flujos sin actualizar no genera un impacto significativo sobre
el numero de iteraciones. Como consecuencia, la paralelizacion del algoritmo de esta
forma en principio es factible para los dos niveles.
Sin embargo, paralelizando ambos niveles de iteraciones termicas en este ejemplo
se obtiene aproximadamente un 60% del calculo en paralelo, mientras que si solo se
realizan en paralelo las iteraciones del segundo nivel la fraccion en paralelo es del 20%.
Como consecuencia, el speedup obtenido en el primer caso es mayor que en el segundo,
como puede verse en la Figura 4.4. Entonces, es mas conveniente optar por el primer
metodo.
Al aumentar el tamano del sistema la porcion del codigo ejecutada en paralelo no
4.2 Esquema multigrupo en paralelo 51
2 4 6 8 10 12
Número de procesadores
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
1,8
2
2,2
Speedup
N = 312N = 1824N = 3600
Figura 4.5: Escalabilidad para la paralelizacion de las iteraciones termicas.
cambia, porque esta depende de la fraccion de las iteraciones totales que se hace sobre
los grupos termicos. Luego, este algoritmo no posee escalabilidad debil, es decir que la
escalabilidad no depende del tamano del sistema, como se muestra en la Figura 4.5.
Es importante notar que los resultados obtenidos con este esquema de calculo di-
fieren de los del metodo original, ya que los calculos monoenergeticos se realizan con
fuentes diferentes. Mas aun, la ejecucion no es determinista, y los valores obtenidos
varıan entre corridas. Conceptualmente el algoritmo posee race conditions, porque la
velocidad relativa de los procesadores modifica el resultado del programa. Sin embargo,
el acceso a los datos, en particular a los flujos ϕ(t)(g) esta protegido y sincronizado,
con lo cual no hay posibilidad de que esta condicion genere corrupcion de datos o re-
sultados erroneos. El factor de multiplicacion y los flujos calculados coinciden con los
del metodo original dentro de los errores de convergencia.
4.2.3. Paralelizacion de las operaciones matriciales
La paralelizacion de las iteraciones termicas es conveniente y genera un speedup
apreciable. Sin embargo, la fraccion del algoritmo que se ejecuta en paralelo es baja,
ya que las iteraciones exteriores se realizan secuencialmente. Un enfoque alternativo
consiste en paralelizar las operaciones necesarias para resolver los flujos en cada grupo
y los calculos asociados al esquema iterativo.
4.2.3.1. Analisis del algoritmo
Para calcular los flujos en el sistema para un dado grupo de energıa se utiliza la
Ecuacion 3.12, si el calculo se realiza mediante el metodo de probabilidades de colision,
o se itera sobre la Ecuacion 3.15 para las corrientes, si se utiliza HRM, para despues
utilizar la 3.12. Entonces, se tienen sumas y productos de matrices que pueden ser
52 Calculos de celda: esquema multigrupo
realizados en paralelo. Ademas, la evaluacion de la fuente de fision y la normalizacion
de los flujos, entre otros calculos, pueden ser paralelizados.
Utilizando paralelismo de loop, por ejemplo, basta con calcular distintas partes de
las matrices por separado, distribuyendo las iteraciones sobre sus elementos en distintos
procesadores. Las fuentes de fision y scattering, al igual que las contribuciones al factor
de multiplicacion de diferentes regiones, tambien pueden ser calculadas en paralelo,
simplemente en funcion del ındice i de las ecuaciones 4.1, 4.2 y 4.4.
Esta opcion ofrece varias ventajas respecto de las anteriores. En primer lugar, da-
do un numero de procesadores es facil balancear las cargas sobre cada uno, ya que
no aparecen operaciones de duraciones difıciles de predecir, como en otros casos. En
segundo lugar, la forma de las iteraciones exteriores en principio no se modifica, con lo
cual se mantiene el sentido del slowing-down en el calculo de los grupos, y el numero
de iteraciones exteriores no aumenta.
Sin embargo, la granularidad de este algoritmo es fina, lo que puede generar perdidas
de eficiencia por manejo de memoria, en particular por false sharing. Ademas, el calculo
de los flujos para cada grupo esta compuesto por una serie de operaciones poco costosas
(calculo de fuente de scattering, de corrientes, de flujos, etc...) entre las cuales se necesita
sincronizacion entre procesos. Luego, el overhead de la paralelizacion puede ser muy
significativo.
Finalmente, este metodo tiene escalabilidad debil con el tamano del sistema, ya que
al aumentar el numero de mallas aumenta la relacion computo-sincronizacion para los
procesos, lo que mejora la eficiencia.
4.2.3.2. Resultados en CONDOR
Se implemento la paralelizacion de las operaciones matriciales y demas calculos
asociados a la evaluacion de los flujos. Para todas las subrutinas se utilizo paralelismo
de loop y sincronizacion sencilla mediante directivas de OpenMP.
Para evaluar el desempeno de esta opcion se la utilizo en primer lugar sin combinarla
con la paralelizacion de las iteraciones termicas. Para el mismo problema mostrado en
la Figura 4.5, se obtuvo el speedup mostrado en la 4.6.
El algoritmo implementado esta fuertemente limitado por el manejo de memoria,
con lo cual al agregar procesadores eventualmente el overhead aumenta significativa-
mente. Como se ve en la Figura 4.6, el speedup obtenido alcanza un maximo y luego
decae, alcanzando valores menores que la unidad.
Como consecuencia, este algoritmo es factible, pero debe limitarse la cantidad de
procesadores. Idealmente, debe utilizarse el numero optimo de procesadores, es decir
el que lleva al maximo speedup. Sin embargo, este optimo depende del problema, con
lo cual debe ser calculado en tiempo de ejecucion. Para esto debe desarrollarse algun
4.3 Discusion del algoritmo paralelo optimo 53
1 2 3 4 5 6 7 8
Número de procesadores
0
0,5
1
1,5
2
Speedup
N = 312N = 1824N = 3600
Figura 4.6: Speedup obtenido paralelizando los calculos de transporte y de fuentes.
criterio, que no necesariamente es facil de definir.
4.3. Discusion del algoritmo paralelo optimo
Los resultados obtenidos para la paralelizacion de las iteraciones termicas y de los
calculos dentro de cada grupo son positivos, pero ambos metodos poseen limitaciones
importantes. El primero no posee un overhead importante, pero la fraccion paraleli-
zada es pequena, y por lo tanto el speedup alcanza rapidamente un valor constante.
El segundo metodo es mas eficiente que el primero para pocos procesadores, pero el
overhead asociado al manejo de memoria hace que al aumentar el numero de nucleos
la eficiencia disminuya significativamente.
Entonces, el algoritmo optimo puede resultar de una combinacion de ambos enfo-
ques, que permita aprovechar los recursos disponibles de la mejor manera. Con este
fin, se consideraron dos algoritmos diferentes.
En primer lugar, se implemento un algoritmo con dos niveles de paralelismo. Por
un lado se utiliza la paralelizacion de las operaciones matriciales en todos los calculos
de transporte, tanto para las iteraciones exteriores como para las termicas. Para evitar
la perdida de eficiencia por manejo de memoria, el numero maximo de procesadores
utilizados en este nivel se determina a partir de un ajuste lineal del numero optimo
en funcion de la cantidad de regiones (este criterio es, por supuesto, discutible). Con
los procesadores sobrantes se paralelizan las iteraciones termicas, en el segundo nivel
de paralelismo. Ası, los dos niveles se encuentran anidados, es decir que las iteraciones
termicas se realizan en paralelo y dentro de cada grupo se calculan los flujos tambien
en paralelo.
Como ejemplo, se puede considerar un problema en el que el numero optimo de
procesadores para las operaciones matriciales es 4. Si se cuenta con 8 procesadores, los
54 Calculos de celda: esquema multigrupo
2 4 6 8 10 12
Número de procesadores
0
0,5
1
1,5
2
2,5
Speedup
Paralelismo anidadoNiveles separados
Figura 4.7: Speedup para los dos algoritmos finales para el metodo multigrupo
grupos para las iteraciones termicas se dividen en dos paquetes, que son calculados en
paralelo. Para los calculos asociados a cada grupo se utilizan 4 procesadores. Entonces,
las iteraciones termicas se realizan con 8 procesadores en total, y las exteriores con 4,
solo para paralelizar las operaciones matriciales.
El segundo algoritmo consiste en paralelizar las operaciones matriciales solo para
las iteraciones exteriores, y realizar las iteraciones termicas en paralelo por grupos. De
esta forma, se combinan los dos niveles del algoritmo anterior, pero no anidados. Este
metodo mejora la paralelizacion de las iteraciones termicas agregando paralelismo en
las iteraciones exteriores. Como consecuencia, aumenta la fraccion en paralelo, y por
lo tanto el speedup maximo.
Para comparar los dos algoritmos planteados se calculo el mismo elemento com-
bustible MTR que para las pruebas anteriores. Como se muestra en la Figura 4.7, el
speedup obtenido con el segundo metodo es mayor que con el primero. Ademas, la
aceleracion maxima alcanzada es mayor que con los algoritmos de paralelizacion de las
iteraciones termicas y de las operaciones matriciales por separado.
Teniendo en cuenta estos resultados, se concluyo que el metodo optimo para para-
lelizar el esquema multigrupo es el segundo.
Capıtulo 5
Calculos de celda: quemado
“That is the greatest fallacy, the wisdom of old men. They
do not grow wise. They grow careful.”
— Ernest Hemingway, A Farewell to Arms, 1929.
Un objetivo fundamental de los calculos de celda es evaluar la evolucion de la
composicion de los distintos materiales del nucleo en funcion del tiempo de operacion
del reactor. Esta es la funcion de los calculos de quemado, cuya paralelizacion es el
tema del presente capıtulo.
En primer lugar se definen las cadenas de quemado y se explica su resolucion numeri-
ca. A continuacion, se analizan algoritmos para paralelizar tanto el calculo de las cade-
nas como el de los ritmos de reaccion necesarios. Finalmente se presentan los resultados
de la implementacion en CONDOR.
5.1. Cadenas de quemado
Durante la operacion de un reactor nuclear se producen permanentes cambios en
la composicion de sus combustibles, y en general en la de cualquier material que se
encuentre en el nucleo e interactue con los neutrones. Por un lado, la fision y captura
radiativa de los materiales combustibles hace que sus densidades disminuyan con el
tiempo, y la absorcion de neutrones en isotopos fertiles puede generar nuevos isotopos
fısiles, lo que determina el balance de combustible del nucleo. Por otro lado, se gene-
ran constantemente productos de fision, algunos de los cuales son absorbentes fuertes
o pueden decaer en isotopos que lo sean, afectando la reactividad del nucleo. Final-
mente, la evolucion de absorbentes neutronicos de control, como venenos quemables y
elementos de control, es fundamental en el diseno de la estrategia de recambio y de
control de reactividad.
Para describir la evolucion de los distintos materiales de interes en el reactor se
55
56 Calculos de celda: quemado
Figura 5.1: Cadenas de quemado tıpicas de metales pesados (Fuente: [2]).
Figura 5.2: Cadenas de quemado para productos de fision (Fuente: [2]).
tienen cadenas de quemado, que representan la produccion y la desaparicion de isotopos
por diversas vıas. La Figura 5.1 muestra dos cadenas tıpicas para material combustible,
correspondientes a captura radiativa en 235U y a absorcion y breeding en 238U, y la
5.2 para algunos productos de fision. Como puede verse, las cadenas pueden consistir
simplemente en uno o dos isotopos, o pueden tener decenas de elementos y varias
ramificaciones. Las reacciones de interes son las de fision (flechas inclinadas), captura
neutronica (horizontales) y decaimiento β− (verticales).
Segun [2], la evolucion de la densidad numerica N del isotopo i dentro de una
cadena de quemado, en funcion del tiempo t en el reactor, esta dada por la ecuacion
de balance
dNi(t)
ϕdt= Yi(t) + σ∗
i−1Ni−1(t) + λkNk(t)− (σi + λi)Ni(t) , (5.1)
si σ∗ y σ son respectivamente las secciones eficaces de captura y de absorcion, y λ = λϕ,
siendo λ la constante de decaimiento. El yield acumulativo de fision Y por unidad de
flujo esta dado por
Yi(t) =
nfis∑
j=1
yj→iσf,jNj(t) , (5.2)
donde nfis es el numero de isotopos fısiles j, yj→i es el yield de fision de cada uno de
ellos para el isotopo i y σf,j es su seccion eficaz de fision. De esta forma, se define un
sistema de ecuaciones lineales con tantas ecuaciones como isotopos existan.
Ahora bien, las secciones eficaces que aparecen en las ecuaciones 5.1 y 5.2 deben
ser condensadas con el espectro crıtico de fuga. Este espectro se calcula en general
mediante el metodo B1 o el de difusion, a partir del sistema homogeneizado con los
5.1 Cadenas de quemado 57
flujos de medio infinito, y a menos grupos que el calculo de celda. Los detalles de esta
etapa se presentan en [2] y en [5] para el codigo CONDOR.
Cada paso de quemado es calculado con un espectro energetico y una distribucion
espacial de flujo independiente del tiempo. Sin embargo, estos varıan con el quemado,
con lo cual se debe debe utilizar alguna aproximacion para suponerlos constantes. En
primer lugar, es posible utilizar el flujo inicial y realizar el paso de quemado con su
espectro y perfil espacial, en lo que se denomina metodo directo. En segundo lugar,
puede utilizarse el metodo predictor-corrector, descripto en [2]. Este metodo consiste
en realizar cada paso de quemado una primera vez para calcular el nuevo flujo (paso
predictor), y luego corregir el espectro para recalcular la evolucion de las densidades
numericas (paso corrector).
Por otro lado, el nivel de flujo ϕ de la Ecuacion 5.1 corresponde a la potencia a la que
opera el reactor. Sin embargo, al evolucionar el quemado del combustible, la seccion
eficaz total de fision varıa y la potencia se mantiene constante. Luego, teniendo en
cuenta que P ∝ Σfϕ, el valor de ϕ depende del tiempo. Para obtener el flujo promedio
entre dos pasos de quemado que genera la energıa de fision especificada en ese intervalo
de tiempo se tiene un proceso iterativo. Cada iteracion consiste en quemar las cadenas
de metal pesado para obtener la energıa liberada, dependiente de los ritmos de fision,
y corregir los ritmos de reaccion a partir de la diferencia entre la energıa producida
y la requerida. Una vez que el nivel de flujo promedio converge, se queman todas las
cadenas con este valor.
5.1.1. Resolucion numerica
La evaluacion de las cadenas de quemado se compone fundamentalmente de dos
etapas. En primer lugar deben calcularse los ritmos de reaccion neutronicos, ya que
los cambios en los materiales del reactor son producidos por su interaccion con los
neutrones. Por un lado se necesitan los ritmos de absorcion y fision en el material
fısil, para evaluar la desaparicion de combustible, el breeding de isotopos fısiles y la
aparicion de productos de fision. Por otro lado deben calcularse los ritmos de absorcion
en venenos absorbentes.
Estos ritmos de reaccion son utilizados en la segunda etapa, que comienza con la
evaluacion de los coeficientes de perdidas y de produccion de la ecuacion 5.1. Finalmente
se obtienen las variaciones en las densidades numericas de los isotopos de interes a partir
de la resolucion de las cadenas de quemado.
Para resolver las cadenas dadas por la ecuacion 5.1 para cada isotopo se puede re-
currir a metodos iterativos. Sin embargo, dado que se trata de un sistema de ecuaciones
lineales con poco acople, suele ser mas eficiente resolver el sistema de forma exacta. La
resolucion mediante el metodo de transformadas de Laplace, que es el utilizado en el
58 Calculos de celda: quemado
Figura 5.3: Ejemplo de una cadena generica linealizada (Fuente: [2]).
codigo CONDOR, se explica en [2].
Para utilizar el metodo de Laplace primero se deben linealizar las cadenas, de la
forma que se muestra en la Figura 5.3. En este ejemplo, la produccion del isotopo A a
partir del B se calcula una sola vez, y las contribuciones de B y C a E se suman.
5.2. Calculo de ritmos de reaccion en paralelo
En un codigo de celda, y en particular en CONDOR, se definen distintos materiales
que componen al sistema (combustible, vaina, moderador o zonas con venenos quema-
bles, por ejemplo). Cada material esta compuesto por un cierto numero de isotopos,
que pueden estar presentes en la celda original o aparecer al quemarse el combustible.
Luego, los ritmos de reaccion de captura neutronica y de fision deben ser calculados
para todos los isotopos de cada material.
Por otro lado, los ritmos de reaccion tienen contribuciones de todos los grupos de
energıa. Estas contribuciones se evaluan a partir del espectro crıtico y de las secciones
eficaces condensadas segun este espectro.
La paralelizacion de estos calculos puede ser realizada de tres formas distintas: por
grupo, por isotopo o por material.
Calcular las contribuciones de cada grupo en paralelo tiene varias desventajas. Por
un lado, en algun momento es necesario sumar todas las contribuciones para obtener
los ritmos de reaccion totales, para cada isotopo y cada material. En consecuencia,
se necesita sincronizacion entre los procesadores para evitar data races, lo cual genera
un overhead que en las otras opciones no se tiene, como se explica a continuacion.
Por otro lado, a menos que se implemente un metodo con sincronizacion excesiva, el
requerimiento de memoria se multiplica por el numero de procesadores, ya que los
ritmos de reaccion parciales deben ser privados a cada proceso. Ademas, esta opcion
no es optima en cuanto a los accesos a la memoria, ya que todos los procesadores
acceden a las mismas direcciones, con lo cual existen overheads asociados al manejo de
memoria. En consecuencia, este metodo fue descartado.
Como segunda opcion, se puede paralelizar el calculo de ritmos de reaccion por
isotopo. De esta forma se obtiene un algoritmo de granularidad fina, lo que ofrece ven-
tajas en cuanto al balance de cargas. Sin embargo, el calculo de los ritmos de reaccion
para un isotopo es poco costoso, con lo cual la relacion computo-administracion es
baja. Ademas, los ritmos para los distintos isotopos suelen estar guardados en direc-
5.3 Resolucion de las cadenas de quemado en paralelo 59
ciones de memoria cercanas; este es el caso de CONDOR. Luego, el acceso de distintos
procesadores a ritmos de reaccion de isotopos cercanos en memoria puede conducir a
perdidas de eficiencia por false sharing, ya que la frecuencia de estos accesos es muy
alta. Por estas razones tampoco se considero factible a esta opcion.
Por ultimo, los ritmos de reaccion para los distintos materiales pueden ser calcula-
dos en paralelo. El algoritmo resultante tiene granularidad mas gruesa que el anterior,
entonces la relacion computo-administracion es mayor. Ademas, en CONDOR los isoto-
pos para cada material son almacenados en direcciones contiguas, con lo cual la perdida
de eficiencia por false sharing es menor. En cuanto a la memoria necesaria, este metodo
conserva el requerimiento del calculo secuencial, ya que no se necesitan copias auxiliares
de los ritmos de reaccion, porque cada ritmo es calculado en un procesador diferente.
Debido a estas ventajas, este fue el algoritmo implementado en CONDOR.
5.3. Resolucion de las cadenas de quemado en pa-
ralelo
Teniendo en cuenta que cada cadena linealizada puede ser resuelta individualmente,
se puede paralelizar el algoritmo mapeando las cadenas a distintos procesadores. Otra
opcion consiste en calcular todas las cadenas necesarias para cada material en paralelo,
ya que el quemado de cada material tampoco depende del resto.
La primera opcion presenta dos desventajas fundamentales. Primero, existen de-
pendencias entre las cadenas lineales provenientes de la misma cadena original, debido
a que los caminos comunes a varias cadenas (A → B en la Figura 5.3) son calculados
una sola vez. Esto puede solucionarse de dos formas, ninguna de las cuales es optima.
Por un lado, pueden calcularse los caminos comunes tantas veces como cadenas deri-
vadas existan, independizando las cadenas pero aumentando levemente el tiempo de
calculo. Por otro lado, se puede utilizar sincronizacion para que varios procesadores
puedan utilizar un camino comun que ya haya sido calculado, aunque de esta forma se
generan overheads y tiempo ocioso que no son convenientes, y la implementacion no es
trivial.
La segunda desventaja de la paralelizacion por cadenas proviene de la suma de
contribuciones de varias cadenas al mismo isotopo. Esto tambien requiere sincronizacion
entre procesos para evitar data races. Ademas, el acceso de distintos procesadores
a los mismos isotopos, o a isotopos cercanos en una cadena, genera overheads por
administracion de memoria y probablemente por false sharing.
En consecuencia, de descarto la paralelizacion por cadenas y se opto por la parale-
lizacion por materiales. Esta opcion genera un algoritmo de granularidad mas gruesa,
mejorando la relacion computo-administracion, y sin sincronizacion, ya que cada ma-
60 Calculos de celda: quemado
1 2 3 4 5 6 7 8
Número de procesadores
0
0,5
1
1,5
2
2,5
3
Speedup
M = 50M = 200M = 450
Figura 5.4: Speedup para la paralelizacion del calculo de ritmos de reaccion.
terial es totalmente independiente del resto. Ademas, los isotopos calculados en cada
material se encuentran contiguos en memoria, con lo cual la perdida de eficiencia por
false sharing deberıa ser despreciable.
Sin embargo, se tiene que calcular la energıa total generada por fision en el paso de
quemado para obtener iterativamente el flujo promedio ϕ. Para ello, cada procesador
evalua la energıa generada en los materiales calculados localmente, y la unica inter-
accion entre procesos en este algoritmo consiste en sumar todas las contribuciones a
la energıa total. La sincronizacion para realizar esta reduccion es sencilla, pero fuerza
a los threads a esperar a que todas las contribuciones hayan sido calculadas, lo que
aumenta su tiempo ocioso.
5.4. Resultados numericos en CONDOR
Para la paralelizacion por materiales del calculo de los ritmos de reaccion se ob-
tuvieron los resultados que se muestran en la Figura 5.4, donde M es el numero de
materiales del problema. Como era esperable, la escalabilidad aumenta con la cantidad
de materiales del sistema. Sin embargo, el speedup alcanza un maximo y luego decae,
probablemente debido al manejo de memoria asociado a las variables compartidas (las
matrices de ritmos de reaccion).
En cuanto a las cadenas de quemado, el speedup obtenido con la paralelizacion por
materiales puede verse en la Figura 5.5. En este caso tambien existe una tendencia al
aumento de la escalabilidad con el numero de materiales, aunque no es tan evidente.
Ademas, el speedup satura con pocos procesadores, debido a que la fraccion paralela del
algoritmo es relativamente baja. Esto se debe a que el proceso iterativo para obtener el
nivel de flujo promedio fuerza la sincronizacion de los threads, ya que se debe evaluar
para cada iteracion la energıa de fision liberada.
5.4 Resultados numericos en CONDOR 61
1 2 3 4 5 6 7 8
Número de procesadores
0,8
1
1,2
1,4
1,6
1,8
2
2,2
Speedup
M = 50M = 200M = 450
Figura 5.5: Resultados para la resolucion de las cadenas de quemado en paralelo.
1 2 3 4 5 6 7 8
Número de procesadores
0,6
0,8
1
1,2
1,4
1,6
1,8
2
2,2
Speedup
M = 50M = 200M = 450
Figura 5.6: Resultados para los calculos de quemado en paralelo.
Para el calculo de quemado completo, compuesto por la evaluacion de los ritmos de
reaccion y de las cadenas de quemado, se tiene el speedup presentado en la Figura 5.6.
El tiempo de calculo de las dos etapas en general es similar, y por lo tanto el resultado
global esta determinado por las dos partes por igual.
Capıtulo 6
Metodo de difusion
“And now that you don’t have to be perfect, you can be good.”
— John Steinbeck, East of Eden, 1952.
Tanto el metodo de probabilidades de colision analizado en este trabajo como otros
metodos utilizados para realizar calculos de celda, como Sn o MOC, se basan en un
tratamiento detallado de la distribucion espacial del flujo. Estos metodos utilizan apro-
ximaciones relativamente precisas de la ecuacion de transporte, en particular sobre la
variable angular. Como consecuencia, la resolucion de problemas a partir de ellos es
muy intensiva computacionalmente.
En un gran numero de aplicaciones es necesario un enfoque mas crudo y menos
costoso para aproximar la ecuacion de transporte, ya sea porque el sistema a calcular
es demasiado grande, o porque no se necesita una descripcion espacial detallada. Este
es el caso de los calculos de gestion de nucleo, los estudios parametricos de nucleo en
la etapa de diseno y los analisis de seguridad, por ejemplo. En estos casos, el metodo
mas utilizado es la aproximacion de difusion.
En este capıtulo se considera el metodo de difusion en su formulacion en diferencias
finitas. Se estudian diversas formas en las cuales este metodo puede ser paralelizado,
utilizando esquemas de Jacobi y de Gauss-Seidel. Por ultimo, se muestran los resultados
obtenidos en la implementacion de los algoritmos propuestos en el programa CITVAP,
basado en el codigo CITATION 2.0.
6.1. Teorıa de difusion
A continuacion se presentan las ecuaciones del metodo de difusion, primero en su
forma multigrupo y luego en la aproximacion de diferencias finitas. Luego se describen
los esquemas numericos utilizados para resolver esta forma de la ecuacion de difusion,
ası como los metodos de aceleracion mas comunes.
63
64 Metodo de difusion
6.1.1. Ecuaciones multigrupo
Una formulacion usual de la ecuacion de transporte es la aproximacion Pl, en la
que esta se expresa en la forma de armonicos esfericos. En el caso l = 1 se tiene la
aproximacion P1, que se compone de ecuaciones para el flujo escalar ϕ y la corriente J .
Bajo ciertas hipotesis (ver [2]), estas ecuaciones se reducen a las del metodo de difusion,
que, en ausencia de fuentes externas, son la ley de Fick
El estado estacionario corresponde al reactor crıtico asociado en k, lo que define el
problema de autovalores
− ∇.D(r, E)∇ϕ(r, E) + Σ(r, E)ϕ(r, E) =
=
∫ ∞
0
Σs(r, E′ → E)ϕ(r, E ′)dE ′ +
χ(r, E)
k
∫ ∞
0
νΣf (r, E′)ϕ(r, E ′)dE ′ . (6.4)
En la aproximacion multigrupo, estas ecuaciones pueden expresarse como
− ∇.Dg(r)∇ϕg(r) + Σr,g(r)ϕg(r) =
=∑
g′ =g
Σs0,g′→g(r)ϕg′(r) +χg(r)
k
∑
g′
νΣf,g′(r)ϕg′(r) , (6.5)
Jg(r) = −Dg(r)∇ϕg(r) , (6.6)
−Dg(r) =1
3[Σg(r)− µ0,g(r)Σs,g(r)]
−1 = [3Σtr,g(r)]−1 , (6.7)
donde ϕg, Jg y χg son valores integrales en el grupo correspondiente. Las secciones
eficaces son promedios, pesados en general con el flujo, dentro de cada grupo, con
correcciones provenientes de las aproximaciones realizadas dentro del formalismo de
difusion, entre ellas la correccion de transporte.
6.1 Teorıa de difusion 65
Las condiciones de borde mas utilizadas para la ecuacion de difusion son: vacıo,
periodicidad (sistemas infinitos), reflexion, fronteras con albedos y continuidad en las
interfaces. Cada tipo de condicion de contorno conduce a condiciones matematicas
diferentes sobre la solucion del flujo.
Al igual que en el metodo de probabilidad de colision, en el esquema multigrupo
se resuelve la ecuacion monoenergetica para cada grupo. El acople entre energıas se
establece a traves de la fuente Qg de cada grupo, es decir el lado derecho de la ecuacion
6.5. Para un grupo dado, se tiene la fuente de fision, que en principio depende del flujo
a todas las energıas, y la fuente de scattering, que proviene de la moderacion de los
neutrones y del up-scattering en los grupos termicos.
6.1.2. Formulacion en diferencias finitas
La forma mas usual de resolver numericamente la ecuacion de difusion es mediante
el metodo de diferencias finitas en 1, 2 o 3 dimensiones. Para aplicar este esquema,
el sistema debe ser dividido en regiones (segmentos en geometrıa 1D, areas en 2D
y volumenes en 3D) de dimensiones finitas (mallas). En lo que sigue se considera la
formulacion en tres dimensiones y coordenadas cartesianas, teniendo en cuenta que el
metodo es aplicable en cualquier sistema de coordenadas. Ademas, se trabaja con la
forma monoenergetica de la ecuacion de difusion, recordando que los grupos quedan
acoplados por la fuente Qg, y se omite el subındice g.
Cada malla n esta caracterizada por un volumen ∆Vn, superficies de contacto con
otras mallas ∆Snm y secciones eficaces, correspondientes al material dentro de la malla.
Para evaluar las magnitudes de interes, como flujos y fuentes, dentro de cada malla,
debe elegirse un punto caracterıstico dentro de la misma. En principio este punto es
arbitrario, pero en general se lo hace coincidir con el centroide de ∆Vn.
Integrando la ecuacion 6.5 en ∆Vn y evaluando los flujos y las fuentes en el punto
caracterıstico de la malla se obtiene, segun [2], la expresion
∑
m
Jnm∆Snm + Σr,nϕn∆Vn = Qn∆Vn , (6.8)
si se considera ϕ(Vn) = ϕn y Q(Vn) = Qn. La sumatoria sobre m representa las mallas
adyacentes a la malla n, de donde provienen las corrientes Jnm. Para la malla n = ijk
se tendran contribuciones de las m = (i± 1)jk, i(j ± 1)k, ij(k ± 1).
Para obtener la ecuacion para el flujo basta con incluir la ley de Fick en la aproxi-
macion de diferencias finitas
Jnm = dnm[ϕn − ϕm] , (6.9)
66 Metodo de difusion
Figura 6.1: Discretizacion de 7 puntos utilizada en el esquema de diferencias finitas para elmetodo de difusion.
si dnm = 2dndmdn+dm
, con dn(w) =Dn
∆w, siendo w una direccion determinada (x, y o z) y ∆w
la longitud de la malla en esa direccion. Esta expresion incluye la continuidad del flujo
en la interfase entre mallas.
De esta forma se obtiene la ecuacion para los flujos
∑
m
∆Snmdnm[ϕn − ϕm] + Σr,nϕn∆Vn = Qn∆Vn , (6.10)
sujeta a las mismas condiciones de borde que la ecuacion 6.5, expresadas en diferencias
finitas. Segun la ecuacion 6.10, cada nodo queda acoplado con sus 6 primeros vecinos,
de la forma que se muestra en la Figura 6.1.
Finalmente, definiendo los vectores ϕ y Q, que contienen los flujos y fuentes para
todas las mallas, el problema puede expresarse en forma matricial como
Aϕ = Q , (6.11)
donde A es el operador de transporte y perdidas y Q la fuente total, compuesta por el
kernel de scattering y por la fuente de fision (normalizada con el factor de multiplicacion
k), ambos dependientes del flujo.
6.1.3. Resolucion numerica
La ecuacion 6.11 puede ser resuelta analıticamente invirtiendo la matriz A, para
obtener los flujos ϕ. Sin embargo, es mas eficiente resolverla numericamente mediante
algun metodo iterativo, obteniendo la solucion mas rapidamente. Ademas, hay que
6.1 Teorıa de difusion 67
tener en cuenta que la mayorıa de los elementos de la matriz A son ceros, ya que
cada malla esta acoplada con, a lo sumo, seis mallas adyacentes, mientras que A−1
puede tener gran cantidad de elementos no nulos. Luego, la resolucion iterativa es mas
conveniente que la analıtica en terminos de memoria necesaria.
Por otro lado, cuando se resuelve la ecuacion 6.11 en el esquema multigrupo en
general la fuente Q varıa entre iteraciones exteriores, antes de converger a su valor final.
Luego, no tiene sentido hallar la solucion analıtica para una dada iteracion exterior, si
la fuente con la cual se calcula la misma no ha convergido. Los metodos iterativos, al
fijar una tolerancia para la solucion, son mas adecuados tambien en este sentido.
Para resolver el problema de forma iterativa, es conveniente expresar la ecuacion
6.11 como
ϕ = [L+ U ]ϕ+ Q , (6.12)
donde L y U son matrices triangulares estrictamente inferior y superior, respectiva-
mente. Es importante notar que, si bien la fuente Q depende en principio del flujo, su
valor durante las iteraciones sobre la ecuacion 6.12 (iteraciones interiores) se mantiene
constante, ya que la fuente de fision se calcula al principio de cada iteracion exterior y
la fuente de scattering antes de comenzar las iteraciones interiores para cada grupo.
El metodo mas simple para resolver iterativamente la ecuacion 6.12 es el metodo
de Jacobi, que se puede expresar como
ϕ(t) = [L+ U ]ϕ(t−1) + Q , (6.13)
si t es el ındice de las iteraciones, partiendo de un valor inicial ϕ(0). Este metodo
aproxima la solucion para el paso t utilizando la solucion completa para el paso t− 1.
Un segundo esquema es el de Gauss-Seidel, dado por
ϕ(t) = Lϕ(t) + U ϕ(t−1) + Q . (6.14)
En este caso, cada flujo ϕ(t)ijk se calcula a partir de los elementos de ϕ(t) que ya hayan
sido calculados y se usa ϕ(t−1) para el resto. De esta forma, la solucion converge mas
rapidamente que para el metodo de Jacobi. Ademas, este algoritmo es mas conveniente
en terminos de memoria, ya que solo se necesita un vector de flujos, que es actualizado
a medida que avanza cada iteracion, mientras que en el metodo de Jacobi es necesario
conservar ϕ(t) y ϕ(t−1).
Tanto para el metodo de Jacobi como para el de Gauss-Seidel, es necesario establecer
un criterio de convergencia para determinar cuando la solucion alcanzada es aceptable
y no es necesario continuar las iteraciones. Para esto en general se utiliza la norma
euclıdea o la norma infinito (o variantes de esta) del residuo r = Aϕ − Q, y se la
compara con una tolerancia.
68 Metodo de difusion
Por otro lado, existen metodos de aceleracion que aumentan la velocidad de conver-
gencia de los esquemas iterativos anteriores. En la aproximacion de difusion algunos de
los metodos utilizados son los de sobrerrelajacion y relajacion por lınea, y el metodo
de extrapolacion.
Los metodos de sobrerrelajacion puntuales pueden expresarse como
ϕ(t)ijk = ϕ
(t−1)ijk + ω[ϕ
∗(t)ijk − ϕ
(t−1)ijk ] , (6.15)
si ϕ∗(t)ijk es el flujo en la iteracion t calculado con el metodo sin acelerar y ω > 1 es
el factor de sobrerrelajacion (si 0 < ω < 1 el metodo es de subrelajacion). Si bien
el valor optimo para el factor ω es ωopt =2
1+√
1−µ2, siendo µ el radio espectral de la
matriz L + U , en general su valor se calcula durante la ejecucion del programa, con
diversos metodos empıricos. Con esta aceleracion, se obtienen los metodos de Jacobi so-
brerrelajado (Jacobi Over-Relaxation, JOR) y de sobrerrelajacion sucesiva (Successive
Over-Relaxation, SOR).
Los metodos de relajacion por lınea consisten en calcular los flujos a lo largo de una
fila o columna dejando fijos los coeficientes de acople de la ecuacion de difusion para
esa lınea. De esta forma, se obtiene un sistema de ecuaciones tridiagonal que puede ser
resuelto eficientemente mediante un metodo directo (no iterativo) en O(n) operaciones,
si n es el tamano de la lınea. El metodo mas utilizado en este caso es el metodo de
Thomas (TDMA), que consiste en un paso de eliminacion y un paso de sustitucion hacia
atras, similar a la eliminacion de Gauss. Si los coeficientes de acople en la iteracion t
se calculan a partir de flujos de la t− 1 se tiene el metodo de Jacobi con relajacion de
lınea (Jacobi Line Relaxation, JLR). Si las lıneas se calculan en un orden determinado
y se utilizan los flujos actualizados para calcular los coeficientes de acople, el metodo
es Gauss-Seidel con relajacion de lınea (Gauss-Seidel Line Relaxation, GSLR).
Por ultimo, el metodo de extrapolacion consiste en tratar de acercarse al valor
asintotico de la solucion a partir de la evolucion del proceso iterativo, teniendo en
cuenta que el mismo converge monotonamente. La extrapolacion para cada malla y en
cada grupo se realiza segun
ϕ(∞)ijk,g = ϕ
(t)ijk,g + zt[ϕ
(t)ijk,g − ϕ
(t−1)ijk,g ] , (6.16)
donde zt =µt
1−µtes el factor de extrapolacion, con µt dado por
µt =ϕ(t)ijk,g − ϕ
(t−1)ijk,g
ϕ(t−1)ijk,g − ϕ
(t−2)ijk,g
. (6.17)
En este caso tambien se estima el valor de zt durante el calculo, pudiendose usar
valores promedio en una cierta region o valores en puntos de referencia. Ademas, la
6.2 Paralelizacion de la ecuacion de difusion monoenergetica 69
extrapolacion debe realizarse cuando la convergencia del proceso iterativo sigue apro-
ximadamente el comportamiento teorico, tıpicamente cuando el valor de zt se mantiene
dentro de un determinado rango entre iteraciones.
El codigo CITATION 2.0, que constituye el motor de calculo del programa CITVAP
y en el cual fueron implementados los algoritmos que se proponen a continuacion,
utiliza el metodo de Gauss-Seidel con relajacion de lınea, combinado con los metodos
de sobrerrelajacion y extrapolacion.
6.2. Paralelizacion de la ecuacion de difusion mo-
noenergetica
En esta seccion se presentan diversos esquemas de paralelizacion de los metodos
iterativos utilizados para la aproximacion de difusion, teniendo en cuenta los metodos
de aceleracion comentados.
6.2.1. Metodo de Jacobi
Dado que al momento de calcular ϕ(t) se conoce el valor de todas las componentes
de ϕ(t−1) y que no existe dependencia entre los calculos de distintos ϕ(t)ijk, el metodo de
Jacobi es directamente paralelizable. En este caso, basta con descomponer el dominio
de calculo en subdominios, y asignar a cada procesador el computo de los flujos de un
subdominio.
En el Algoritmo 6.1 se muestra la implementacion de una iteracion interior del meto-
do de Jacobi con paralelismo de loop en OpenMP. Los loops sobre los ındices k, j e i son
tales que barren solo la parte del dominio Dp = [k0(p), kf (p)]x[j0(p), jf (p)]x[i0(p), if (p)]
asignado al procesador p. Cada procesador debe calcular el error ϵp correspondiente al
dominio Dp, para la iteracion t. Luego, estos deben ser condensados en el error global
ϵ segun la norma que se elija para evaluar la convergencia.
La eficiencia de la paralelizacion sera mas alta cuanto mas uniforme sea la cantidad
de mallas por procesador, es decir el tamano de Dp. Esto depende fundamentalmente
de la forma en que se mapee el dominio en los procesadores.
La descomposicion de dominio mas sencilla de implementar es en funcion del ındice
exterior, en este caso k, que corresponde a n = 1 en el Algoritmo 6.1. De esta for-
ma, si se tiene un sistema grande en relacion al numero de procesadores P , esto es
kmax >> P , en principio es facil generar cargas similares sobre los procesadores. Sin
embargo, al disminuir kmax
Pel desbalance entre procesos se torna importante, afectando
significativamente la escalabilidad fuerte (con kmax fijo).
Luego, para mejorar la escalabilidad fuerte del algoritmo es conveniente descom-
70 Metodo de difusion
Algoritmo 6.1 Paralelizacion del metodo de Jacobi.
!$OMP parallel shared(ϕ(t), ϕ(t−1), ϵ, ...) private(ϵp, ...)!$OMP do schedule(...) collapse(n)for k = 1 to kmax do
for j = 1 to jmax dofor i = 1 to imax do
Jacobi(ϕ(t−1)) ⇒ ϕ(t)(i, j, k)end for
end forend fornorm(ϕ(t) − ϕ(t−1))|Dp ⇒ ϵp!$OMP end doreduction(ϵp) ⇒ ϵ!$OMP end parallel
Algoritmo 6.2 Paralelizacion del metodo de Jacobi con relajacion de lınea.
!$OMP parallel shared(ϕ(t), ϕ(t−1), ϵ, ...) private(ϵp, ...)!$OMP do schedule(...) collapse(2)for k = 1 to kmax do
for j = 1 to jmax doTDMA(ϕ(t−1)) ⇒ ϕ(t)(1 : imax, j, k)
end forend fornorm(ϕ(t) − ϕ(t−1))|Dp ⇒ ϵp!$OMP end doreduction(ϵp) ⇒ ϵ!$OMP end parallel
poner el dominio en funcion de al menos dos de los ındices, esto es n = 2, 3. Sin
embargo, agregar el tercer ındice puede no ser conveniente, ya que se podrıa tener una
disminucion de la eficiencia por false sharing.
Ademas, si se quiere implementar este metodo con relajacion de lınea (JLR) no es
posible descomponer el dominio segun el ındice i, ya que todos los flujos sobre una
lınea son calculados simultaneamente. En este caso, se tendra un algoritmo de la forma
del 6.2.
En cuanto a la escalabilidad debil, es de esperar que la descomposicion del dominio
en funcion de k sea suficiente para alcanzar eficiencias aceptables, si kmax >> P .
Como ultimo comentario, hay que mencionar que el metodo de Jacobi paralelizado
de estas dos maneras se puede combinar directamente con los metodos de sobrerrela-
jacion y de extrapolacion, de la misma forma que el algoritmo serial. Esto se debe a
que estos metodos introducen correcciones para cada flujo individualmente, por lo que
no se generan dependencias adicionales.
6.2 Paralelizacion de la ecuacion de difusion monoenergetica 71
Figura 6.2: Grilla con puntos pares (rojos) e impares (negros).
6.2.2. Metodo de Gauss-Seidel
En los programas secuenciales en general se prefiere el metodo de Gauss-Seidel fren-
te al de Jacobi, por poseer mayor velocidad de convergencia y menor requerimiento de
memoria. Sin embargo, para implementaciones en paralelo este metodo presenta algu-
nas limitaciones, debidas principalmente a su naturaleza inherentemente secuencial.
Dado que para calcular ϕ(t)(i, j, k) se necesitan ϕ(t)(i − 1, j, k), ϕ(t)(i, j − 1, k) y
ϕ(t)(i, j, k − 1), que en principio pueden ser calculados por procesadores distintos, se
tiene una fuerte dependencia de datos. Luego, es necesario hallar una forma de mapear
el dominio que sea factible de paralelizar, es decir que minimice estas dependencias.
Una primera opcion que suele proponerse es barrer el dominio en forma de un frente
de onda compuesto por puntos cuyo calculo no depende del de otros puntos dentro del
frente. Si se recorre la grilla (i, j, k) segun planos dados por i+ j + k = m,m ∈ N, porejemplo, para calcular ϕ(t)(i, j, k) perteneciente al plano m se utilizan los puntos del
plano m−1 ya calculados y los del plano m+1 de la iteracion anterior. De esta forma,
los puntos del plano m pueden calcularse en paralelo. Aun ası, este algoritmo requiere
sincronizacion entre planos, y ademas es difıcil balancear la carga de los procesadores,
ya que cada plano tiene un numero distinto de elementos, con lo cual la eficiencia
obtenida en general es muy baja.
La estrategia mas utilizada consiste en ordenar los puntos de la grilla segun tengan
ındice m = i+ j + k par o impar (puntos rojos o negros). De esta forma, se obtiene un
patron como el que se muestra en la Figura 6.2, similar a un tablero de ajedrez, con
los colores alternados entre planos. Dada la formulacion en diferencias finitas utilizada,
para calcular un punto de un color en la iteracion t solo se necesitan puntos del otro
color, de la iteracion t o t− 1.
Teniendo esto en cuenta, puede realizarse cada iteracion sobre todo el dominio en
dos etapas. En primer lugar pueden calcularse todos los puntos rojos, por ejemplo, en
72 Metodo de difusion
Algoritmo 6.3 Paralelizacion del metodo de Gauss-Seidel en un esquema rojo-negro.
!$OMP parallel shared(ϕ(t), ϕ(t−1), ϵ, ...) private(ϵ1,p, ϵ2,p, ...)!$OMP do schedule(...) collapse(n)for i, j, k ∈ Dp / i+ j + k = 2m,m ∈ N do
Jacobi(ϕ(t−1)) ⇒ ϕ(t)(i, j, k)end fornorm(ϕ(t) − ϕ(t−1))|Dp,2m ⇒ ϵ1,p!$OMP end do!$OMP do schedule(...) collapse(n)for i, j, k ∈ Dp / i+ j + k = 2m+ 1, m ∈ N do
Gauss-Seidel(ϕ(t)) ⇒ ϕ(t)(i, j, k)end fornorm(ϕ(t) − ϕ(t−1))|Dp,2m+1 ⇒ ϵ2,p!$OMP end doreduction(ϵ1,p, ϵ2,p) ⇒ ϵ!$OMP end parallel
paralelo y en un orden arbitrario para la iteracion t, ya que solo se necesitan los valores
de los puntos negros en t− 1. Este primer calculo es equivalente al metodo de Jacobi.
A continuacion, se calculan en paralelo los puntos negros, en este caso, esta vez con los
valores de los puntos rojos de la iteracion t, de acuerdo con el metodo de Gauss-Seidel.
El Algoritmo 6.3 muestra una posible implementacion de este metodo.
De esta forma, se tiene una iteracion 50% Jacobi y 50% Gauss-Seidel, con un alto
grado de paralelismo. La velocidad de convergencia de este esquema ejecutado en un
solo procesador en general se encuentra entre la del metodo de Jacobi y la del de
Gauss-Seidel estandar.
El metodo SOR puede ser paralelizado de la misma manera, ya que para calcular
ϕ(t)(i, j, k) se utilizan los mismos puntos que en el metodo de Gauss-Seidel, mas el valor
de ϕ(t−1)(i, j, k), con lo cual no se generan dependencias adicionales entre mallas. Lo
mismo ocurre si se quiere acelerar el algoritmo mediante extrapolacion.
El metodo de relajacion por lınea, sin embargo, no se puede aplicar con el mallado
separado en puntos pares e impares, ya que no se tienen filas ni columnas de elementos
contiguos del mismo color. En este caso, se puede colorear el sistema segun la paridad
de los planos, es decir del ındice k, o de las filas, segun j + k = m, como se muestra en
la Figura 6.3. En el primer caso, se barren primero los planos rojos, por ejemplo, en
un esquema JLR en paralelo, y a continuacion se aplica el metodo GSLR en los planos
negros. En el segundo caso tambien se hace un barrido JLR y otro GSLR, ambos en
paralelo, pero esta vez por filas. En los dos casos se obtiene, al igual que en el esquema
rojo-negro tradicional, un algoritmo 50% Jacobi y 50% Gauss-Seidel, con relajacion
de lınea.
Como tercera propuesta, es posible descomponer el dominio de calculo y asignar
6.2 Paralelizacion de la ecuacion de difusion monoenergetica 73
Figura 6.3: Grilla coloreada segun filas (izquierda) y planos (derecha).
Figura 6.4: Interfase entre los subdominios de los procesadores p y p+ 1.
a cada procesador el calculo de un subdominio, de forma analoga a la paralelizacion
del metodo de Jacobi. En este caso, sin embargo, se tendra dependencia entre los
procesadores en las interfases de los subdominios.
Para ejemplificar el problema de las interfases, en la Figura 6.4 se muestra el calculo
de un flujo ubicado en el plano k = kf (p), suponiendo que el dominio se encuentra
subdividido por procesadores en funcion del ındice k. Los flujos pertenecientes al plano
kf (p) necesarios para calcular ϕ(t)(i, j, k), esto es ϕ(t)(i± 1, j, k) y ϕ(t)(i, j ± 1, k), y el
flujo ϕ(t−1)(i, j, k−1), corresponden a la region asignada al procesador p, con lo cual se
puede asegurar su valor al momento de realizar el calculo. Sin embargo, ϕ(t)(i, j, k+1),
perteneciente al plano k0(p + 1), es calculado por el procesador p + 1, con lo cual al
momento de calcular ϕ(t)(i, j, k) su valor puede corresponder a la iteracion t o a la t−1,
o puede estar siendo actualizado en ese momento.
Luego, a menos que se proteja el acceso a los flujos en las interfases, se tienen data
races en los planos k0 y kf de todos los procesadores. En OpenMP el comportamiento
en caso de data races esta indeterminado, con lo cual se pueden generar resultados
incorrectos.
74 Metodo de difusion
Para solucionar este problema, pueden calcularse los flujos de la iteracion t en la
frontera deDp usando valores de la t−1 para los flujos fuera deDp, de manera similar al
metodo de Jacobi. Ası, se evitan los errores por data races, ya que los flujos modificados
por un procesador no son accedidos por otros.
Sin embargo, de esta forma no se aprovechan flujos ya calculados que podrıan ser
utilizados. Mas aun, en el caso de subdividir el dominio segun el ındice k, en general
al momento de calcular los flujos en el plano kf (p) (el ultimo para el procesador p) ya
habran sido calculados los flujos en el k0(p+ 1) (el primero para el procesador p+ 1).
En consecuencia, es conveniente sincronizar el acceso a los flujos de las interfases, para
que los procesadores puedan leer en forma segura los valores actualizados una vez que
hayan sido calculados. En este caso tambien es necesario asegurar la consistencia de
la memoria del procesador que calcula los flujos y del que los utiliza, aumentando el
costo de la administracion y sincronizacion de threads.
Una iteracion interior con este metodo, en un esquema Gauss-Seidel con relajacion
de lınea, puede implementarse como se muestra en el Algoritmo 6.4.
De esta forma, se obtiene un esquema de Gauss-Seidel en la mayorıa del sistema,
y la eficiencia estara determinada principalmente por la descomposicion del dominio
utilizada y por la implementacion particular de la sincronizacion en las interfases.
Ademas, el metodo implementado de esta forma es compatible con todos los metodos
de aceleracion considerados, en particular con el de relajacion de lınea.
6.3. Implementacion en CITATION-CITVAP
Se analizaron algoritmos paralelizados para el metodo de Gauss-Seidel y para el de
Jacobi. Para el primer metodo se utilizaron esquemas rojo-negro por filas y por planos,
y la descomposicion del dominio por planos con sincronizacion en las interfases entre
procesos. Para el segundo se implemento la descomposicion del dominio por planos y
por filas.
Los resultados presentados para el codigo CITVAP corresponden exclusivamente a
los calculos monoenergeticos.
6.3.1. Metodo de Gauss-Seidel
Habiendose descartado la paralelizacion por frente de onda, se implementaron es-
quemas rojo-negro por filas y por planos, para geometrıas xyz y triangular-z. Dado
que estos algoritmos no requieren sincronizacion entre procesadores, su programacion
es directa. Ademas, es posible utilizarlos con relajacion de lınea, que es uno de los
metodos de aceleracion utilizados en CITVAP.
Es importante notar que en este caso la ejecucion es determinista, es decir que
6.3 Implementacion en CITATION-CITVAP 75
Algoritmo 6.4 Paralelizacion del metodo de Gauss-Seidel utilizando sincronizacion.
!$OMP parallel shared(ϕ(t), ϕ(t−1), f lags, ...) private(flag, ϕpointer, ...)
ϕpointer(1 : kmax) → ϕ(t)(1 : kmax)!$OMP do schedule(...)for k = 1 to kmax do
if k = k0(p) [kf (p)] then!$OMP flush(flags)!$OMP atomic readflag = flags(kf (p− 1)) [flags(k0(p+ 1))]if flag = true then
![REVISIÓN DE DISTINTAS IMPLEMENTACIONES PARA …eprints.rclis.org/32783/1/8651589-38328-5-PB.pdf · Campinas, SP v.16 n.2 p. 273-292 mayo/ago. 2018 [274] RESUMEN: Este trabajo relata](https://static.documents.pub/doc/80x56/5e36282b0b277609677dc2e8/revisin-de-distintas-implementaciones-para-campinas-sp-v16-n2-p-273-292-mayoago.jpg)