Lecture 7Linear Regression Diagnostics
BIOST 515
January 27, 2004
BIOST 515, Lecture 6
Major assumptions
1. The relationship between the outcomes and the predictors is
(approximately) linear.
2. The error term Ξ΅ has zero mean.
3. The error term Ξ΅ has constant variance.
4. The errors are uncorrelated.
5. The errors are normally distributed or we have an adequate
sample size to rely on large sample theory.
We should always check fitted models to make sure that these
assumptions have not been violated.
BIOST 515, Lecture 6 1
Departures from the underlying assumptions cannot be de-
tected using any of the summary statistics weβve examined so
far such as the t or F statistics or R2. In fact, tests based on
these statistics may lead to incorrect inference since they are
based on many of the assumptions above.
BIOST 515, Lecture 6 2
Residual analysis
The diagnostic methods weβll be exploring are based primarily
on the residuals. Recall, the residual is defined as
ei = yi β yi, i = 1, . . . , n,
where
y = XΞ².
If the model is appropriate, it is reasonable to expect the residu-
als to exhibit properties that agree with the stated assumptions.
BIOST 515, Lecture 6 3
Characteristics of residuals
β’ The mean of the {ei} is 0:
e =1n
nβi=1
ei = 0.
β’ The estimate of the population variance computed from the
sample of the n residuals is
S2 =1
nβ pβ 1
nβi=1
e2i
which is the residual mean square, MSE = SSE/(nβpβ1).
BIOST 515, Lecture 6 4
β’ The {ei} are not independent random variables. In general,
if the number of residuals (n) is large relative to the number
of independent variables (p), the dependency can be ignored
for all practical purposes in an analysis of residuals.
BIOST 515, Lecture 6 5
Methods for standardizing residuals
β’ Standardized residuals
β’ Studentized residuals
β’ Jackknife residuals
BIOST 515, Lecture 6 6
Standardized residuals
An obvious choice for scaling residuals is to divide them by
their estimated standard error. The quantity
zi =eiβ
MSE
is called a standardized residual. Based on the linear re-
gression assumptions, we might expect the zis to resemble a
sample from a N(0, 1) distribution.
BIOST 515, Lecture 6 7
Studentized residuals
Using MSE as the variance of the ith residual ei is only an
approximation. We can improve the residual scaling by dividing
ei by the standard deviation of the ith residual. We can show
that the covariance matrix of the residuals is
var(e) = Ο2(I βH).
Recall H = X(X β²X)β1X β² is the hat matrix. The variance of
the ith residual is
var(ei) = Ο2(1β hi),
where hi is the ith element on the diagonal of the hat matrix
and 0 β€ hi β€ 1.
BIOST 515, Lecture 6 8
The quantity
ri =eiβ
MSE(1β hi)
is called a studentized residual and approximately follows a t
distribution with n β p β 1 degrees of freedom (assuming the
assumptions stated at the beginning of lecture are satisfied).
Studentized residuals have a mean near 0 and a variance,
1nβ pβ 1
nβi=1
r2i ,
that is slightly larger than 1. In large data sets, the standardized
and studentized residuals should not differ dramatically.
BIOST 515, Lecture 6 9
Jackknife residuals
The quantity
r(βi) = ri
sMSE
MSE(βi)
=eiq
MSE(βi)(1 β hi)= ri
s(n β p β 1) β 1
(n β p β 1) β r2i
is called a jackknife residual (or R-Student residual).MSE(βi) is the residual variance computed with the ith ob-
servation deleted.
Jackknife residuals have a mean near 0 and a variance
1(nβ pβ 1)β 1
nβi=1
r2(βi)
that is slightly greater than 1. Jackknife residuals are usually
the preferred residual for regression diagnostics.
BIOST 515, Lecture 6 10
How to use residuals for diagnostics?
Residual analysis is usually done graphically. We may look
at
β’ Quantile plots: to assess normality
β’ Scatterplots: to assess model assumptions, such as constant
variance and linearity, and to identify potential outliers
β’ Histograms, stem and leaf diagrams and boxplots
BIOST 515, Lecture 6 11
Quantile-quantile plots
Quantile-quantile plots can be useful for comparing two
samples to determine if they arise from the same distribution.
Similarly, we can compare quantiles of a sample to the expected
quantiles if the sample came from some distribution F for a
visual assessment of whether the sample arises from F . In
linear regression, this can help us determine the normality of
the residuals (if we have relied on an assumption of normality).
To construct a quantile-quantile plot for the residuals, we
plot the quantiles of the residuals against the theorized quantiles
if the residuals arose from a normal distribution. If the residuals
come from a normal distribution the plot should resemble a
straight line. A straight line connecting the 1st and 3rd quartiles
is often added to the plot to aid in visual assessment.
BIOST 515, Lecture 6 12
Samples from N(0, 1) distribution
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
βββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
β
ββ
ββ
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
βββ
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
ββ
β
β
β
ββ
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
βββ
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
ββ
ββ
ββ
β
ββ
β
β
β
β
β
β
β
ββ
β
ββ
ββ
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β3 β2 β1 0 1 2 3
β3
β2
β1
01
23
Normal QβQ Plot
Theoretical Quantiles
Sam
ple
Qua
ntile
s
BIOST 515, Lecture 6 13
Samples from a skewed distribution
β
ββ
β
ββ
ββ
β
β
ββββ
β
β
β
β
β
ββ
ββ
ββ
β
ββ
β
β
βββ
β
β
β β
β
ββ
ββ
β
β
β
β
β
β
ββ
β
β
ββ
β
β ββ
ββ
β
ββββ β β
ββ β β
β
ββ
β
β
β
ββ
ββ
β
β
β
ββ
β β
β
ββ
ββ
β
β
β
β
β
β
βββ
β
β
ββ
βββ
β
ββ
β
β
β
β
β
ββ
β
β
β
β
ββ
ββ
β
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
ββ
β
β
β
ββ
ββ
β
β
β ββ β
β
ββ
β
β
ββ
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
ββ
β
ββ
β
ββ β
β β
β
β
β
ββ β
β
β
β
ββ
βββ
βββββ β
β
β
ββ
β
ββ
β
β
β
β β
β
β
β
β
βββ
ββ
β
ββ
βββ
β
βββ
β
ββ
ββ
β
β
β
ββ
ββββ
ββ
β
ββ
β
β
β β
β
β
ββ
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
ββ
β
β
ββ
β
ββ
β
β
β
ββ
ββ
β
β
β
β
β
ββ
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
ββ
β ββ
β
β
ββ
ββ
ββ
β
ββ
β
β
β
β
β
ββ
β
β
ββ
β
ββ
βββ β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
βββ
β
β
β
β
β
βββ
β
β
β
ββββ
ββββ
β
β
β
β
β
ββ β
ββ
ββ
ββ
β
β
β
β
ββ
ββ
β β
βββ
β
βββ
β βββ
β
β
β
ββ β
β
β
ββ
ββ
β
ββ
β βββ
β
β
β
β
β
β
β
ββ
β ββ
β
ββ
β
βββ
βββ β
ββββ
ββ ββ
β
β
β
β
ββ
β
β
β
β
β
ββ
β
ββ β
ββ
β ββ
βββ
ββ
β
β
β β
β
ββ
β
β
ββ
β
ββ
ββ
β
β
ββ
ββ
β
β
β β
β
β
ββ
β
ββ
β
ββ
β
β β
β
β
βββ
β
βββ
β
ββ
β β
β
β
βββ
ββ
β
ββ
β
β
β
ββ
β ββ
β
ββ ββ
ββ β
ββ
βββ
β ββ
ββ β
β
β
β
β
β
ββ
β
β
β β
β
β
ββ
β
ββ
β ββββ
β β
β
β
ββ
β
βββ
β
β
ββ
ββ
β
ββ
ββ
βββ
β
β
β
β
ββ β
β
β β
β
β
ββββ
β
βββ
ββ
β
β
ββ
β
βββ
ββ
β
β
ββ ββ
βββ
βββ
β
β
β
ββ
β
βββ
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
ββ
ββ
ββ
β
β
β
β
β
β
β
β
ββ
β
ββ
ββ
β
β
β ββ
β
ββ
βββ
β
β ββ
β
ββ
βββ
β
ββ
β
β
β
ββ
ββ β
ββ
β
β
ββ
β
β
ββ
ββ
β ββ
β
ββ
β ββ
β
ββ
β β
β β
β
β ββ
β
β
ββ β
β
ββ
β
β
β
ββ
β
β β β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
ββ
ββββ
β β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
βββ
β
ββ
β
βββ
β
β
β
β
β
β
β
β
βββ
β ββ ββ
β
β
β
β
β
β
β
ββββ
β
β β
ββ
β β
β
β
β β
β
β
ββ
ββ
β
ββ
β
ββ
ββ
β
β
β
ββ
β
β
βββ
βββ
β
ββ
ββ
βββ
β
β
ββ
β
β
ββ
β
β
β
ββ
β ββ
β
β
β β
ββ
ββ
β
ββ
β β
β
ββ β
βββ
ββ
β3 β2 β1 0 1 2 3
β2
02
4Normal QβQ Plot
Theoretical Quantiles
Res
idua
ls
Histogram of y
Residuals
Den
sity
β2 β1 0 1 2 3 4
0.0
0.2
0.4
BIOST 515, Lecture 6 14
Samples from a heavy-tailed distribution
ββ
ββ
β β β
ββ
β
ββ
ββ ββ
βββ
β
β
ββ ββ ββ
ββ
β
ββ
ββ
ββ
β
β
ββββ
ββ
βββ
β
β
βββ
β β
ββ
βββ
ββ
ββββ
β
β ββββ
β
βββ β
β
βββ
β ββ β
β βββ
β ββ
β
β
β β βββ
β
ββ β β ββββ ββ β
ββ
β β
ββ
β
βββ
ββ ββ
ββ
ββ
ββ β
βββββ ββ ββ β β
ββ
ββ ββ
β
β
β ββ
β
β ββ
β ββββββββ β
β
β
β
ββ
ββ
ββ
β β βββ
βββ β
βββ β
ββ
β
β
ββ
ββ
ββ ββ
ββ β
ββ ββ
β ββ
β ββ
βββ βββ ββββ
ββ
β
β
βββ
β ββ
β
ββ
ββββββ βββ β ββ β β
ββ
β ββ β
β
ββ
βββ
β
ββ
ββ
β β ββ ββ β
β
β
ββ
β
βββ
β β ββββ β
β β ββββ
ββ
β β ββββ
ββ
ββ
ββ
β
βββ ββ
ββ
ββ
βββββ
ββ
β
β
ββ
ββ
β
β
β
βββ
βββ
βββ
ββ βββ
ββ ββ
β
ββ
β ββ ββ
βββ
ββ β β
β
β
ββ ββ β
βββ
βββββ
ββββ
ββ
β
βββ βββ ββ
β
ββ ββ β
β ββ
ββ ββββ
β
βββ
β
β
β
β
β
ββ β
β βββ β
ββ
β β
ββ
ββ
β
β βββ β β
β
β ββ β
ββ β ββ
ββ
β
β ββββ
ββββ ββ β
ββ ββ β
β β ββββ
ββ
β
βββ
ββ β
β
ββ βββ
β
β
ββ
ββ β
ββ
ββ
ββ
β
β
ββββ
ββ
ββββ β β
β
βββ βββ
β ββ
βββ ββ ββ ββ β ββββ
ββ
ββ
βββββ ββ
β βββ βββββ
ββ
ββ
β
β
β βββ
βββ ββ
β ββ
β
β
ββ
β ββ
β βββ
βββ
β ββ
ββ
ββ
β
β
ββ
β ββ
ββββββ
β
β
β
ββ
ββ
βββ
ββ
β
β
ββ
β ββ
ββ
β
ββ
β
ββ ββ
ββ ββ
βββ
ββ
β ββ
βββ
ββ β
ββ
β
β
ββ
ββ β ββ
βββ ββββ β
β
ββββ
βββ β
ββ
ββ
β
β
β
β
ββββ β
β
ββ
β
ββ
βββ
β ββ β ββ
β
βββ β
β ββ
ββ
ββ ββ
β
β
ββ
ββ
βββ
β
β
β β
β
β ββ
βββ
β
βββ
β
βββ β
βββ
ββ
ββ
β ββ
βββ ββ
β
ββ
ββ β
β
ββ
ββ ββ
β
β
ββββββββ β β β β
ββ
ββ
ββ β ββ
β
β
βββ
β
ββ β β ββ
ββ
β β β ββ
β β
β
β
ββββ
ββ
ββ
β
β
ββ
ββ
β ββ βββ β
ββ
βββ
β β
β
β β
β
βββ
ββ β
ββ ββ
β ββ
ββ
β
β
β
β
ββ
ββ
ββ
βββ β β
ββββ ββββ
βββ β
β
βββ β
β
β ββ
ββ
ββ βββ
β
βββ β
β
ββββ
β ββββ ββ
β
β
β ββ
βββ
ββ
βββ
ββ
β
ββ
βββββ
βββ
ββ
β
β β βββ ββ ββ
ββ β
β
ββ β
ββ β
ββ
βββ
β3 β2 β1 0 1 2 3
β4
04
8Normal QβQ Plot
Theoretical Quantiles
Res
idua
ls
Histogram of y
Residuals
Den
sity
β4 β2 0 2 4 6 8
0.0
0.3
0.6
BIOST 515, Lecture 6 15
Samples from a light-tailed distribution
ββ
β
ββ
ββ
β
ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
ββ
β
ββ
ββ
β
β
β
β
β β
ββ
β
β
β
β
β
ββ
ββ
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β β
β
ββ
β
β
ββ
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
ββ β
β
β
β
β
β
ββ
β
ββ
β
β
ββ
ββ
β
β
β
β
β
β
β β
ββ
β
βββ
ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β ββ
ββ
β
β
ββ
β
ββ
β
β
β
β
β
ββ
β
β
β
ββ
ββ
β
β
ββ
β
β
β
ββ
β
β
ββ
β
β
β
β
ββ
β β
β
β
β
β
β
ββ
ββ
ββ
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
βββ
β
ββ
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
ββ
β
β
β
βββ
β
β
β
β β
ββ
β
ββ
β
ββ
β
β
ββ
βββ
β
β
ββ
ββ
ββ β
β
β
β
β
β
β
ββ
ββ
β
β β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
βββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
ββ
β
β
ββ
β
ββ
ββ
ββ
β
ββ
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
ββ
β
ββ
β
β
β
ββ
β
β
ββ
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β ββ
β
β
β β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
βββ
β
β
β
β β
β
β
β
β
β
β
β
β
β
ββ
β
β
β β
β
β
β
β
β
β
β
βββ
ββ
β
ββ
β
β
β
β
βββ
ββ
β
ββ
β
ββ
β
βββ
β
ββ
ββ
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
ββ
βββ
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β β
β
β
β
β
β
ββ
β
β
ββ
ββ
β
β
ββ β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
βββ
ββββ
ββ
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
βββ
β
ββ
ββ
β β
ββ
β
ββ
β
β
β
β
β
β
β
ββ
β
β
ββ
β
βββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β β
β
β
β
ββ
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β3 β2 β1 0 1 2 3
β2
01
2Normal QβQ Plot
Theoretical Quantiles
Res
idua
ls
Histogram of y
Residuals
Den
sity
β2 β1 0 1 2
0.0
0.2
0.4
BIOST 515, Lecture 6 16
Scatterplots
Another useful aid for inspection is a scatterplot of the
residuals against the fitted values and/or the predictors. These
plots can help us identify:
β’ Non-constant variance
β’ Violation of the assumption of linearity
β’ Potential outliers
BIOST 515, Lecture 6 17
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ β
ββ
ββ
β
ββ
ββ
β
ββ
ββ
ββ
β
β
β
β
β
β
β
β β
β
β
β
ββ
β β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β ββ
βββ
β
β
β
β
β
β
β β
β
β
ββ
β
β
β
ββ
β
β
β
β
β β
β
ββ
ββ
β
β
β
β
β
βββ
ββ
β
β ββ
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β β
β
β ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ β
ββ
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
ββ
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β β
ββ
β
ββ
β
β
ββ
β
ββ β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
ββ
ββ
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β ββ β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββββ
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β β
β
β
β
ββ
β
β βββ
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
ββ
β β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
ββ
β
β
β
β
β
ββ β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
β
β β
β
β β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
Satisfactory residual plot
yi
e i
BIOST 515, Lecture 6 18
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
ββ
β
β β
β
β
ββ β
β β
ββ
β
β
β β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
ββ
β
ββ
ββ β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
ββ β
β
β
β
β
ββ
β ββ
β
β
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
ββ
ββ
β β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β ββ
β β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
ββ
β β β
β
β β
β
β
ββ
β
βββ
β
β
β
ββ
β
ββ
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
βββ
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β β
β
β
β
β β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
ββ
ββ
β
β
βββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
ββ
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
ββ
β
β βββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
Nonβconstant variance
yi
e i
BIOST 515, Lecture 6 19
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
ββ
β
β
β
β
β ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
ββ
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
βββ
β
β
β
ββ
β
ββ
ββ
β
β ββ
β β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β β
β
β
β
β
β
β β
ββ
β
ββ β
β
β
β
β β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
ββ
β
β
β
β
ββ
β
ββ
ββ
β
β
ββ
ββ
β
β
β
β
ββ
β
β
β
β
β
β
ββ β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
βββ
β
β
β
β β
β
ββ
ββ
β
β
β
ββ
β
ββ
ββ
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β β
β
β
β
β
β
β
ββ ββ
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
ββββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
ββ
β
β
β β
β
β
β
β
β
ββ
β
β
β
ββ
β
βββ
β
β
β ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β β
β
ββ
β
β
β
ββ
β
β
β
β
β β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
ββ
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
ββ
β
β
β
β ββ
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
Nonβconstant variance
yi
e i
BIOST 515, Lecture 6 20
Example
Suppose the true relationship between a predictor, x, and
an outcome, y is
E(yi) = 1 + 2xi β 0.25x2i ,
but we fit the model
yi = Ξ²0 + Ξ²1xi + Ξ΅i.
Can we diagnose this with residual plots?
BIOST 515, Lecture 6 21
yi = Ξ²0 + Ξ²1xi + Ξ΅i
β
β
β
ββ
ββ
β β
β β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
βββ
ββ ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
β
β β
β ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β5 0 5 10
β30
β20
β10
010
2030
Scatterplot of x vs. y
x
y
BIOST 515, Lecture 6 22
Estimate Std. Error t value Pr(>|t|)(Intercept) β1.7761 0.5618 β3.16 0.0017
x 0.7569 0.1111 6.81 0.0000
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β β
β
β
β
β
β
β
ββ
β
β
ββ
ββ
β
ββ
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
βββ
β
β
ββ
β
β
β
β
β
β
β
β3 β2 β1 0 1 2 3
β3
β2
β1
01
2
Normal QβQ Plot
Theoretical Quantiles
Sam
ple
Qua
ntile
s
BIOST 515, Lecture 6 23
Fitted values versus residuals
β
β
β
β
β
ββ
β
β
β β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β β
β β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
ββ
ββ
β
ββ
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β β
β
β
ββ
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
βββ
β
β
ββ
β
β
β
β
β
β
β
β4 β2 0 2 4
β3
β2
β1
01
2
yi
e i
BIOST 515, Lecture 6 24
Next, we fit
yi = Ξ²0 + Ξ²1xi + Ξ²2x2i + Ξ΅i.
Estimate Std. Error t value Pr(>|t|)(Intercept) 1.9824 0.6000 3.30 0.0010
x 1.9653 0.1637 12.00 0.0000
x2 β0.2640 0.0268 β9.85 0.0000
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
ββ
β
βββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
ββ
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
ββ
βββ
β
β
βββ
β
β
ββ
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
βββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β3 β2 β1 0 1 2 3
β3
β2
β1
01
2
Normal QβQ Plot
Theoretical Quantiles
Sam
ple
Qua
ntile
s
BIOST 515, Lecture 6 25
Fitted values versus residuals
β
β
ββ
β
β
β
β
β
β β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β ββ
β
β
β
β
ββ
β
βββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
ββ
β ββ
β
β
ββ β
β
β
ββ
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β β
βββ
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β10 β5 0
β3
β2
β1
01
2
yi
e i
BIOST 515, Lecture 6 26
What if we have more than one predictor and only one is
misspecified?
So, the true model is
E[yi] = 1 + 3wi + 2xi β 0.25x2i
and we fit
yi = Ξ²0 + Ξ²1wi + Ξ²2xi + Ξ΅i.
How can we diagnose model misspecification with residual plots
in this case?
BIOST 515, Lecture 6 27
y
2.0 2.5 3.0 3.5 4.0
ββ
β
ββ
β
β
β β
β
β
ββ
β β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
ββ
β βββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β βββ
β
β
β
β
β
β
β
ββ
β β
ββ
β
ββ
β
β
β
β
ββ
β
β
β
β
β
ββ
β
ββ
ββ
β
ββ β
β
β
β
βββ
β
β β
β
ββ
β
ββ
β
ββ
β
β
β
ββ
β
β
β β
β
β
β
β β
β
β
β
ββ
β
β
β
β β
β
β
β
ββ
β
ββ
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
ββ
βββ
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
ββ
β
β β
β
β
β
β
β
ββ
β
ββ
β
β
β
ββ
β
β
β
β
β
β β
β
β
β
β
β
β β
β
β
ββ
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
ββ
β
β
β
β
ββ
β
β
β ββ
β
β
ββ
ββ
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β β
β
β
β
β
ββ
β
β
β β
βββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β ββ
β
β
β
β
β
β
β
ββ
β
β ββ
β
βββ
β
ββ
β
β
β
ββ
β
β
β
ββ
β
β
ββ
ββ
β β
β
β
β
β
ββ
ββ
β
ββββ
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β20
020
40
ββ
β
ββ
β
β
ββ
β
β
ββ
β β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
ββ
ββ ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββββ
β
β
β
β
β
β
β
ββ
β β
ββ
β
ββ
β
β
β
β
ββ
β
β
β
β
β
ββ
β
ββ
ββ
β
ββ β
β
β
β
βββ
β
ββ
β
ββ
β
ββ
β
ββ
β
β
β
ββ
β
β
β β
β
β
β
ββ
β
β
β
β β
β
β
β
β β
β
β
β
ββ
β
ββ
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
ββ
βββ
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
ββ
β
β β
β
β
β
β
β
ββ
β
ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
ββ
β
β
β
β
ββ
β
β
β ββ
β
β
ββ
ββ
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β β
β
β
β
β
ββ
β
β
β β
βββ
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β ββ
β
β
β
β
β
β
β
ββ
β
β ββ
β
βββ
β
ββ
β
β
β
β β
β
β
β
ββ
β
β
ββ
ββ
β β
β
β
β
β
ββ
ββ
β
ββββ
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
2.0
2.5
3.0
3.5
4.0
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β β
β
β
β
ββ
β
ββ
β
β
ββ
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ β
β
β
β
ββ
β
βββ
β
β
β
β
β
β β
β
β
β
β
β
β
ββ
β
β
ββ
β
ββ
ββ
ββ
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
βββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β β
β
β
β
β β
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β β
ββ
ββ
β
β
β
β
wβ
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β β
β
β β
β
β
β
ββ
β
ββ
β
β
ββ
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
βββ
β
β
β
β β
β
βββ
β
β
β
β
β
β β
β
β
β
β
β
β
ββ
β
β
ββ
β
ββ
ββ
ββ
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β β
ββ
ββ
β
β
β
β
β20 0 20 40
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
ββ
β
βββ
β
β
ββ β
β
β β
β
β
β
β
β β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β β
β
β
β
β
β
β
β β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
ββ
β
βββ
β
β
ββ β
β
β β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β β
β5 0 5 10
β5
05
10
x
BIOST 515, Lecture 6 28
Estimate Std. Error t value Pr(>|t|)(Intercept) β2.9863 2.6128 β1.14 0.2536
x 1.1326 0.1137 9.96 0.0000
w 2.9216 0.8532 3.42 0.0007
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ β
βββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
ββ
ββ
β
β
ββ
β
ββ
ββ
β
β
β
β
ββ
β
β
β
ββ
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
βββ
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
ββ
β
β
β
ββ β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
ββ
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β3 β2 β1 0 1 2 3
β4
β3
β2
β1
01
23
Normal QβQ Plot
Theoretical Quantiles
Sam
ple
Qua
ntile
s
BIOST 515, Lecture 6 29
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ β
βββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
ββ
ββ
β
β
ββ
β
ββ
ββ
β
β
β
β
ββ
β
β
β
β β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
βββ
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
ββ
β
β
β
ββ β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
ββ
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
2 4 6 8 10 12 14 16
β4
β3
β2
β1
01
23
yi
e i
BIOST 515, Lecture 6 30
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
βββ
βββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
ββ
ββ
β
β
ββ
β
ββ
ββ
β
β
β
β
ββ
β
β
β
β β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β ββ
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
ββ
β
β
β
ββ β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β βββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
ββ
ββ
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β5 0 5 10
β4
β3
β2
β1
01
23
x
res
BIOST 515, Lecture 6 31
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ β
ββ β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
ββ
ββ
β
β
ββ
β
ββ
ββ
β
β
β
β
ββ
β
β
β
β β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
βββ
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β β
β
β
β
β
β
β
ββ
β
β
β
ββ β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
ββ
β β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
2.0 2.5 3.0 3.5 4.0
β4
β3
β2
β1
01
23
w
res
BIOST 515, Lecture 6 32
yi = Ξ²0 + Ξ²1wi + Ξ²2xi + Ξ²3x2i Ξ΅i
Estimate Std. Error t value Pr(>|t|)(Intercept) β1.1002 2.3876 β0.46 0.6452
x 2.2203 0.1603 13.85 0.0000
x2 β0.2884 0.0252 β11.43 0.0000
w 4.1124 0.7668 5.36 0.0000
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
ββ
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
ββ
βββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
βββ
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β3 β2 β1 0 1 2 3
β3
β2
β1
01
23
Normal QβQ Plot
Theoretical Quantiles
Sam
ple
Qua
ntile
s
BIOST 515, Lecture 6 33
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β β
β
β
β
ββ
β β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β β
ββ
ββ β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β5 0 5 10 15
β3
β2
β1
01
23
yi
e i
BIOST 515, Lecture 6 34
Partial regression plots
β’ A variation of the plot of residuals versus predictors
β’ Allows us to study the marginal relationship of a regressor
given the other variables that are in the model.
β’ Also called the added variable plot or the adjusted variableplot
BIOST 515, Lecture 6 35
For example, suppose we are considering the model
yi = Ξ²0 + Ξ²1x1 + Ξ²2x2 + Ξ΅,
and we are concerned about the correct specification of the
relationship between x1 and y1. To create a partial regression
plot, we
1. Regress y on x2 and obtain the fitted values and residuals
yi(x2) = ΞΈ0 + ΞΈ1xi2
ei(y|x2) = yi β yi(x2), i = 1, . . . , n
2. Regress x1 on x2 and calculate the residuals
xi1(x2) = Ξ±0 + Ξ±1xi2
BIOST 515, Lecture 6 36
ei(x1|x2) = xi1 β xi1(x2), i = 1, . . . , n
3. Plot the y residuals ei(y|x2) against the x1 residuals
ei(x1|x2).
BIOST 515, Lecture 6 37
Partial regression plot from previous example
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β ββ
β
β
β
β
β
β
βββ
ββ
β
β
β
β
β
β
β
ββ
β
ββ
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
βββ
β
β
β
β
β
β
β
β
β
β
β
β
β β β
β
ββ
ββ
β
β
β
β
β
β
ββ
β
ββ
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β β
ββ
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
βββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
ββ
β
β ββ
β
β
β
β
ββ β
β
β
β ββ
β
β
β
β
β
β
β5 0 5
β40
β30
β20
β10
010
20
x
y
BIOST 515, Lecture 6 38
Comments on partial regression plots
β’ Use with caution - they only suggest possible relationships
between the predictor and the response.
β’ In general, they will not detect interactions between regres-
sors.
β’ The presence of strong multicollinearity can cause partial
regression plots to give incorrect information.
BIOST 515, Lecture 6 39
Next
β’ Variance stabilizing transformations
β’ Identifying outliers and influential observations.
BIOST 515, Lecture 6 40