R INLA: A review

18 de novembro de 2018

Luiza Sette C. Piancastelli, Thaís Pacheco MenezesArtigo de referência: Bayesian Computing with INLA: A review (2616) - Havard Rue, Andrea Riebler, Si-grunn H. Sørbye, Janine B. Illian, Daniel P. Simpson and Finn K. Lindgren

Publicado em: Annual Review of Statistics and Its Application, vol. 4, issue 1, pp. 395-421

É um método que combina a aproximação de Laplace para integrais (baseada na expansão em série deTaylor de segunda ordem) com técnicas numéricas modernas para matrizes esparsas. O método INLA -Integrated Nested Laplace Approximations é usado para aproximar a inferência Bayesiana para modelosGaussianos latentes (latent Gaussian models - LGMs).Os LGMs representam uma importante abstração de modelos para a inferência bayesiana e incluem umagrande classe dos modelos estatísticos utilizados atualmente. Nesta revisão, os autores discutem as razõespara o sucesso da abordagem INLA, o pacote R-INLA, por que ele é tão preciso, por que as aproximaçõessão muito rápidas de calcular e por que os LGMs fazem um conceito tão útil para a computação bayesiana.

1 Introdução

Inferência bayesiana pode ser simples do ponto de vista matemático uma vez que basta atualizar o conheci-mento a priori sobre os parâmetros desconhecidos com informações disponíveis nos dados observados e obtera distribuição posteriori. Com base na posteriori, podemos calcular estatísticas relevantes para os parâmetrosde interesse, incluindo distribuições marginais, médias, variâncias, quantis, intervalos de credibilidade, etc.Porém, obter a solução explícita da distribuição posteriori pode não ser simples. A introdução de inferênciabaseada em simulações usando MCMC foi um grande marco para a inferência bayesiana. Os métodos MCMCfornecem uma forma de gerar amostras da distribuição posteriori construindo uma cadeia de Markov coma distribuição alvo sendo sua distribuição estacionária. Os softwares WinBUGS, JAGS e Stan forneceramformas amigáveis para o uso de técnicas MCMC.Apesar desses avanços, os autores acreditam que mesmo assim a inferência bayesiana pode requer muitotempo computacional, especialmente quando se tem que testar diversos modelos e por isso pode não parecertão interessante ao usuário de estatística aplicada. No artigo as autores revisam a abordagem INLA que étanto mais rápida como mais exata que os métodos MCMC.A abordagem dada é restrita à classe especí�ca de modelos Gaussianos latentes (LGMs) mas apesar dissoparecer uma desvantagem, ela inclui uma ampla variedade de modelos estatísticos comumente aplicados,tornando essa restrição menos limitadora do que poderia parecer à primeira vista. Derivando métodos INLApara esses modelos faz com que a inferência possa ser realizada em tempo bastante razoável. O pacotecorrespondente, R-INLA tem sido cada vez mais popular dentre usuários.

2 Background dos componentes chave

• Modelos Gaussianos Latentes

1

• Modelos Aditivos

• Campos aleatórios Gaussianos de Markov (GMRFs)

• Aproximação de Laplace

2.1 Modelos Gaussianos Latentes

O conceito de modelos Gaussianos latentes representa uma abstração muito útil no sentido de que a tarefa deinferência estatística pode ser uni�cada para toda a classe. Isso é obtido usando uma formulação hierárquicade três estágios para os modelos de forma que assumimos observações y condicionalmente independentes,dado um campo aleatório x e hiperparâmetros θ1.

y|x, θ1 ∼∏i∈I

π(yi|xi,θ1) (1)

que tem relação com a especi�cação do campo Gaussiano latente em seguida

x|θ2 ∼ N (µ(θ2),Q−1(θ2)) (2)

que inclui todos os termos aleatórios em um modelo estatístico, descrevendo a estrutura de dependênciados dados.

Fazemos as suposições:

• O número de hiperparâmetros é pequeno (tipicamente 2 a 5, não excedendo 20)

• A distribuição de x|θ é Gaussiana e requer que seja um GMRF ou perto de um quando n é grande

• Os dados y são mutualmente condicionalmente independentes de x e θ. Cada observação yi dependede apenas um componente do campo latente xi.

Essas suposições garantem um alto grau de certeza das aproximações obtidas.

2.2 Modelos Aditivos

Os LGMs generalizam a classe de modelos lineares aditivos e/ou generalizados. Por exemplo, interpretar averossimilhança π(yi|xi,θ) tal que yi só dependa do seu preditor linear resulta na con�guração dos modeloslineares generalizados. Podemos interpretar {xi, i ∈ I } como ηi, o preditor linear que é aditivo com respeitoaos outros efeitos

ηi = µ+∑j

βjxij +∑k

fk,jk(i) (2)

mu é o intercepto, z são as covariáveis �xas e βj seus efeitos lineares. A diferença nessa formulação ena dos modelos lineares generalizados usuais está nos componentes fk que são usados para representar umprocesso Gaussiano especí�co. Será chamado componente do modelo. Exemplos são modelos autoregressivos,modelos de splines estocásticos, modelos de efeitos aleatórios com diferentes tipos de correlação, modelosespaciais, entre outros.Assumimos que os componentes do modelo são independentes a priori, os efeitos �xos tem uma distribuiçãoconjunta Gaussiana a priori e que os efeitos �xos são independentes dos componentes do modelo a priori.

Essa formulação e os LGMs são relacionados quando assumimos priori Gaussianas para o intercepto e osparâmetros dos efeitos �xos. A distribuição conjunta de

2

x = (η, µ, β, f1, f2...) (3)

é então Gaussiana e não singular se adicionamos um pequeno termo de erro.

Isso resulta que no campo latente x na formulação LGM.O hiperparâmetro θ inclui todos os parâmetros da verossimilhança e os componentes do modelo. Uma

família de verossimilhança e cada componente do modelo, tem tipicamente entre zero e dois hiperparâmetros.Esses parâmetros frequentemente incluem algum tipo de parâmetro de variância, escala ou correlação.

O número de hiperparâmetros é comumente pequeno e não depende da dimensão do campo latente nemdo número de observações. Isso é crucial para a e�ciência computacional pois mesmo com um banco dedados grande o número de hiperparâmetros se mantém constante.

2.3 Gaussian Markov Random Fields (GMRFs)

Na prática o campo latente não deve ser somente Gaussiano, como ser um campo aleatório Gaussiano deMarkov.

Um GMRF x é simplesmente um processo Gaussiano com propriedades de independência condicionaladicionais, o que signi�ca que xi e xj são condicionalmente independentes dado os elementos restantes paravários pares {i, j}.

Exemplo: Modelo autorregressivo de primeira ordem xt = φxt−1 + εt com inovações gaussianas. Paraesse modelo xt e xs são condicionalmente independentes dado x−st, para todo |s− t| > 1. No caso Gaussi-ano uma consequência útil da independência condicional é que isso resulta em zeros para pares de valorescondicionalmente independentes na matriz de precisão. Computação com matrizes densas são bem maiscustosas do que quando temos uma matriz esparsa. Isso diminui a memória requerida. Em geral, o custocomputacional depende do padrão de dispersão real na matriz de precisão e, por isso, ser um GMRF garanteum alto benefício computacional.

2.4 Modelos Aditivos e GMRFs

A distribuição conjunta de x em (3) também é um GMRF e sua matriz de precisão consiste em somas dasmatrizes de precisão dos efeitos �xos e os outros componentes do modelo.

Como necessitamos calcular a distribuição conjunta do campo latente várias vezes, é essencial que issopossa ser feito de forma e�ciente. Poder tratar a distribuição conjunta como um GMRF com uma matriz deprecisão que é fácil de ser computada é uma das principais razões pelas quais o método INLA é tão e�ciente.A estrutura esparsa dessa matriz aumenta muito a e�ciência computacional quando comparado a matrizesdensas.

Ilustração: consideramos

ηi = µ+ βzi + f1j1(i) + f2j2(i) + εi, i = 1, ..., n (4)

que tem um pequeno termo de erro εi. Os componentes do modelo f1j1(i) e f2j2(i) tem matrizes deprecisão Q1(θ) e Q2(θ) de dimensão m1xm1 e m2xm2.

expressando em forma de matriz obtemos

η = µ1 + βz +A1f1 +A2f2 + +ε (5)

A1 e + A2 são matrizes esparsas, que são zero exceto em um elemento de cada linha. A matriz deprecisão conjunta de (η,f1,f2, β, µ) é fácil de obter reescrevendo

3

exp(−τε/2(η − (µ1 + βz +A1f1 +A2f2))T /2(η − (µ1 + βz +A1f1 +A2f2))− τε/2µ2 − τB/2β2 − 1/2fT1 Q1(θ)f1 − 1/2fT2 Q2(θ)f2) (6)

em

exp(−1/2(η, f1, f2, β, µ)TQjoint(θ)(η, f1, f2, β, µ)) (7)

onde

Qjoint(θ) =

τεI τεA2 τεIz τεI1

Q1(θ) + τεA1AT1 τεA1A

T2 τεA1z τεA11

Q2(θ) + τεA2AT2 τεA2z τεA21

sym. τB + τεzT z τεz

T 1τmu+ τε1

T 1

(8)

Os produtos das matrizes não dependem de θ e por isso precisam ser computados apenas uma vez. Amatriz de precisão conjunta depende de θ através de Q1(θ) e Q2(θ) e portanto o custo é muito baixo quandose tem que re-computar a matriz conjunta.

A matriz Qjoint(θ) ser esparsa ilustra como a estrutura aditiva facilita a e�ciência computacional.

2.5 Aproximações de Laplace

É uma técnica antiga de aproximação de integrais. O objetivo é aproximar a integral

In =

∫x

exp(ηf(x))dx (9)

a aproximação é dada por

In ∼∫x

exp(n(f(x0) +1

2(x− x0)2f ′′(x0)))dx (10)

A ideia é aproximar a distribuição alvo com uma Normal com mesma moda e curvatura na moda.Interpretando nf(x) como a soma de log-verossimilhanças e x como o parâmetro desconhecido, então aaproximação Gaussiana será exata quando n tende a in�nito.O uso da aproximação de Laplace quando a posteriori é próxima de uma densidade Normal é bem maisacurado do que se a densidade for muito diferente de uma Normal.

3 INLA

O maior foco da inferência bayesiana é aproximar as posterioris marginais

π(θj |y), j = 1, ..., |θ|, π(xi|y), i = 1, ..., n (11)

A abordagem INLA é adequada para a estrutura dos LGMs, onde |θ| tem dimensão baixa, x|θ é umGMRF e a verossimilhança é condicionalmente independente de forma que yi depende apenas de um xi eθ. Conforme discutido na seção anterior, sabemos que devemos aplicar a transformação de Laplace apenaspara densidades próximas da Normal.

4

Para os LGM podemos reformular o problema em subproblemas que permitem o uso da aproximação deLaplace. Para ilustrar, consideramos o modelo arti�cial

ηi = g(β)uj(i) (12)

onde yi|ηi ∼ Poisson(exp(ηi)), i = 1..., n, β ∼ N(0, 1), g() é alguma função monótona bem comportadae u ∼ N(0, Q−1). O índice j(i) é tal que a dimensão de é �xa e não depende de n,e alguns dos ujs sãoobservados o mesmo número de vezes.

A computação das posterioris marginais de β e de todos os uj é problemática uma vez que temos umproduto com termos Gaussianos e não-Gaussianos. A estratégia é quebrar a aproximação em problemasmenores e apenas aplicar a aproximação de Laplace quando as densidades forem quase Gaussianas. A ideiaprincipal é usar condicionais em β:

π(β|y) ∝ π(β)

∫ n∏i=1

π(yi|λi = exp(g(β)uj(i)))× π(u)du (13)

A integral que teremos que aproximar deve ser perto de uma Normal, uma vez que o integrando é acorreção de uma contagem Poisson de uma priori Gaussiana. As marginais para cada uj pode ser expressacomo:

π(uj |y) =

∫π(uj |β,y)π(β|y)dβ (14)

Similarmente

π(u|β,y) ∝n∏i=1

π(yi|λi = exp(g(β)uj(i)))π(u) (15)

que deve ser próxima de uma Normal. Aproximar π(uj |β,y) involve a aproximação da integral dessadensidade. Mais uma vez, será próxima de uma Normal. Em suma os sub-problemas que podemos quebrarsão

• Aproximar π(β|y) usando (13)

• Aproximar π(uj |β,y) para todo j

• Computar π(β|y) para todo j usando os resultados dos passos anteriores, combinado com integraçãonumérica

Claramente usar esse método implica em um aumento de complexidade mas o benefício é que aplicamosaproximações de Laplace apenas quando as densidades são próximas de Normais, susbstituíndo dependênciascomplexas com condicionamento e integração numérica. A estratégia descrita pode ser aplicada para os LGMsonde β é θ e u é x derivando aproximações para aplicar integração de Laplace. A aproximação resultante érápida de se computar com pouca perda de e�ciência.

3.1 Aproximando Posterioris Marginais dos Hiperparâmetros

A forma com que vamos construir a posteriori é a seguinte:

5

π(θ|y) ∝ π(θ)π(x|θ)φ(y|x, θ)

π(x|θ, y)(16)

Isso requer uma aproximação Gaussiana do denominador para que a aproximação de Laplace possa serutilizada:

π(x|θ, y) ∝ exp

(−1

2xTQ(θ)x+

∑i

log π(yi|xi,θ))

)(17)

Os aspectos importantes dessa aproximação são: 1. Se trata de um GMRF com respeito ao mesmografo(??) que o modelo sem as observações y. Ou seja, não há custo computacional em incorporar asobservações uma vez que seu impacto é em deslocar a média e na diagonal da matriz de precisão. 2. Aaproximação muito provavelmente será boa porque o impacto das observações é apenas de deslocar a média,reduzir a variância e pode introduzir assimetria também. Elas não mudam a estrutura de dependênciaGaussiana.

O campo aleatório x introduz incerteza e um comportamento mais suave nas marginais de θ.

3.2 Aproximando Posterioris Marginais para o Campo Latente

Nessa seção focamos em como aproximar as posterioris marginais para o campo latente.

π(xi|y) =

∫π(xi|θ, y)π(θ|y)dθ (18)

Os desa�os que temos nessa aproximação são: 1. Precisamos integrar em π(θ|y) mas o custo de inte-gração numérica tradicional é exponencial na dimensão de θ. 2. Precisamos aproximar π(xi|θ, y) para umsubconjunto de todo i = 1, ..., n. Onde n pode ser bem grande.

Para o primeiro, a solução proposta é baseada no 'central composite design' que usa pontos de integraçãoem uma esfera ao redor do centro. A Figura 1 ilustra o procedimento na dimensão 2. O integrando é apro-ximadamente esférico e os pontos de integração serão aproximadamente localizados em um nível apropriadopara a posteriori conjunta de θ. Podemos ponderar os pontos de integração esférica igualmente e determinaro peso relativo com o ponto central requerendo a esperança correta de θT θ se a posteriori for Normal padrão.Esse método de integração balanceia bem o custo computacional e e�ciência e é então o método de integraçãodefault.

No segundo desa�o, precisamos balancear a necessidade de melhores aproximações com a e�ciência com-putacional, pois podemos ter que fazer o cálculo várias vezes. O método default é computar uma expansão emsérie de Taylor ao redor da moda da aproximação de Laplace, o que traz um termo linear e outro quadráticode correção à aproximação Normal usual.

log π(xi|θ, y) ≈ −1

2x2i + bi(θ)xi +

1

2ci(θ)x3i (19)

O termo quadrático fornece uma correção para a média e o quadrático para a assimetria. Portantonossa aproximação é uma mistura de distribuição de Skew-Normais. Esse método, chamado aproximação deLaplace simpli�cada, fornece um bom trade-o� entre acurácia e velocidade computacional.

4 Exemplos

Para testar o método INLA na prática, consideraremos 2 exemplos: um exemplo simples de simulação e umexemplo espacial.

6

7

4.1 Exemplo Simples de Simulação

Consideremos o caso em que desejamos amostrar de uma distribuição Poisson de�nida como: y|η ∼ Poisson(exp(η))onde ηi = µ+ βwj + uj(i), w são as covariáveis, u ∼ Nm(0, τ−1I) e j(i) é um vetor conhecido mapeados de1:n até 1:m. Os dados foram gerados através do seguinte código:

set.seed(123456L)

n = 50; m = 10

w = rnorm(n, sd = )

u = rnorm(m, sd = )

intercept = 0; beta = 1

idx = sample(1:m, n, replace = TRUE)

y = rpois(n,lambda = exp(intercept + beta + w + u[idx]

Para se fazer a inferência usando o modelo INLA, tem-se os seguintes comandos:

library(INLA)

dados <- data.frame(y,w,idx)

formula <- y~1+w+f(idx,model = �iid�)

r = inla(formula, data = dados, family = �poisson�)

No código, tem-se que a formula de�ne como a resposta depende das covariáveis. Porém, em tal estrutura,tem-se que o termo f(idx, model = �iid�) é novo e ele corresponde à função f de�nida em na seção de modelosaditivos e é uma das componentes necessárias para o modelo GMRF. O termo �iid� se refere à variável usendo que idx é o índice que especi�ca qual elemento do componente que vai no preditor linear.

Pelas �guras abaixo, tem-se que a Figura (a) mostra três estimativas a posteriori marginal de u1. Alinha sólida é o método default do INLA com a aproximação Laplace Simpli�cada apresentada na seção 3.Já a linha tracejada é uma estimativa simples usando a aproximação Normal enquanto a pontilhada é amelhor aproximação Laplace possível. Comparando as linhas, é possível ver que o método default do INLA étão e�ciente quanto a melhor aproximação possível indicando que o modelo é realmente adequado e produzestimativas bem próximas da realidade. Também é possível ver que, conforme o esperado, integrar fora deaumenta a incerteza a cerca das estimativas.

Na �gura (b) tem-se o histograma para 105 amostras feitas usando o JAGS juntamente com a linha querepresenta os resultados via método INLA default. Como é possível ver, as estimativas estão bem próximascomprovando que o não há perda de qualidade da aproximação quando usamos o método proposto. O tempocomputacional gasto pelo R-INAL com as opções default foi de cerca de 0.16 segundos.

4.2 Exemplo Espacial

O pacote R-INLA tem um extensivo suporte para tratar modelos Gaussianos espaciais. Com interesseparticular em campos gaussianos derivados de um uma equação diferencial estocástica parcial (SPDEs)temos que os caso mais simples são os campos Matérn com dimensão d, que podem ser descritos como asolução para:

(k2 −∆)α/2(τx(s)) = W (s) (20)

Onde ∆ é o laplaciando, k > 2 é o parâmetro de escala espacial, α controla a suavidade, τ controla avariância e W(s) é o processo gaussiano espacial com ruído branco. É possível provar que a solução paraesse problema é um campo Gaussiano com uma função de covariância Martérn que tem suavidade igual

8

α − d/2. Essa suavidade normalmente é mantida �xa em um conhecimento a priori do processo em ques-tão. A formulação de campos Martén podem ser complexas. Contudo, Lindgren et al. (2011) mostrou queusando representações através de funções básica �nitas para à solução dos índices, então pode-se derivar umarepresentação local com propriedades Markovianas. Isso signi�ca que a distribuição conjunta para os pesosé um GMRF e a distribuição vai sair diretamente das funções básica do espaço triangular. Sendo assim,tem-se que é possível aplicar a estrutura do R-INLA em modelos assim.

Primeiramente, é necessário carregar os dados e criar a triangulação da área de interesse para termos umadimensão �nita para aproximar a equação mostrada acima (18). Para o exemplo em questão, usou-se umbanco de dados presente na base do R que possui os tempos de sobrevivência de 33 pacientes que morreramde câncer de leucemia na Inglaterra.

library(INLA)

data(Leuk)

loc <- cbind(Leuk$xcoord, Leuk$ycoord)

bnd1 <- inla.nonconvex.hull(loc, convex = 0.05)

bnd2 <- inla.nonconvex.hull(loc, convex = 0.25)

mesh <- inla.mesh.2d(loc, boundary = list(bnd1,bnd2),max.edge = c(0.05,0.2),cutoff = 0.0005)

A �gura (a) mostra a área do estudo e a localização de cada evento enquanto a �gura (b) mostra a malhatriangular associada ao mapa com respeito ao modelo SPDE de�nido. O próximo passo é criar a matriz demapeamento dessa malha para as localizações onde foram observados dados. Feito isso, é necessário incluiras covariáveis medidas como sexo, idade, contagem de leucócitos etc. Por �m, será chamado o inla parafazer a análise assumindo distribuição weibull. Note que a aplicação do modelo de cox com taxa de falhaproporcional resultara em resultados similares.

A <- inla.spde.make.A(mesh,loc)

Spde <- inla.spde2.matern(mesh,alpha = 2) #alpha = 2 é default

Formula <- inla.surv(time,cens) ~ 0 + a0 + sex + age + wbc + tpi + f(spatial, spde)

stk <- inla.stack(data = list(time=Leuk$time, cens = Leuk$cens), A = list(A,1),

effect = list(list(spatial = 1:spde$n.spde).dara.frame(a0=1, leuk[,-c(1:4)])))

r <- inla(formula, family = �Weibull�, data = inla.stack.data(stk))

As �guras abaixo mostram os resultados do modelo. A primeira imagem mostra o efeito espacial estimadocom a média a posteriori (esquerda) e o desvio padrão a posteriori estimado (direito).

9

5 Desa�os para o futuro: prioris

Apesar da abordagem R-INLA ter se mostrado altamente e�ciente, ela também apresentou alguns pontosfracos no ponto de vista prático de metodologias Bayesianas gerais. A principal preocupação dos autores éem como pensar e especi�car distribuições a priori em LGMs. Atualmente a metodologia possui boa sensi-bilidade de prioris defaults.

Uma observação é que o método determina prioris individuais para cada parâmetro sendo que muitasvezes é interessante de�nir uma priori conjunta para todos os hiperparâmetros do modelo. Apesar do R-INLAfornecer prioris defaults com base nas prioris mais utilizadas, é possível realizar modi�cações na de�niçãodefault para que o usuário consiga editar conforme necessidade.

6 Conclusão

Todo o artigo é voltado para explicar o funcionamento da abordagem INLA. Com base nas de�nições e resul-tados apresentados, é possível ver que o método produz boas aproximações gastando tempo computacionalmuito menor do que demais abordagens.

Apesar de se mostrar extremamente e�ciente, ainda é possível observar algumas fraquezas do métodocomo na hora de de�nir distribuição a priori sendo que o grande desa�o do futuro é tornar mais �exível essaparte da abordagem bayesiana.

Com base em todas as considerações apresentadas, conclui-se que a abordagem INLA é extremamentee�ciente para modelos GLMS sendo que o tempo computacional gasto no processo é consideravelmente menordo que demais metodologias. Por �m, é importante ressaltar que a abordagem INLA só pode ser aplicadaem uma determinada classes de modelos mas, apesar de isso parecer uma restrição, tem-se que a grandemaioria dos problemas enfrentados hoje se encaixam em tal classe o que torna a abordagem INLA bastanteatraente.

10

11