March 2003 Trevor Hastie, Stanford Statistics 1�
�
�
�
Least Angle Regression, ForwardStagewise and the Lasso
Brad Efron, Trevor Hastie, Iain Johnstone and Robert TibshiraniStanford University
http://www-stat.stanford.edu/∼hastie/Papers/#LARS
March 2003 Trevor Hastie, Stanford Statistics 2�
�
�
�
Background
• Today’s talk is about linear regression
• But the motivation comes from the area of flexible functionfitting: “Boosting”— Freund & Schapire (1995)
March 2003 Trevor Hastie, Stanford Statistics 3�
�
�
�
Least Squares Boosting
Friedman, Hastie & Tibshirani — see Elements of StatisticalLearning (chapter 10)
Supervised learning: Response y, predictors x = (x1, x2 . . . xp).
1. Start with function F (x) = 0 and residual r = y
2. Fit a CART regression tree to r giving f(x)
3. Set F (x) ← F (x) + εf(x), r ← r − εf(x) and repeat step 2many times
March 2003 Trevor Hastie, Stanford Statistics 4�
�
�
�
Least Squares Boosting
ε = 1
ε = .01
Single tree
Prediction Error
Number of steps
March 2003 Trevor Hastie, Stanford Statistics 5�
�
�
�
Linear Regression
Here is a version of least squares boosting for multiple linearregression: (assume predictors are standardized)
(Incremental) Forward Stagewise
1. Start with r = y, β1, β2, . . . βp = 0.
2. Find the predictor xj most correlated with r
3. Update βj ← βj + δj , where δj = ε · sign〈r, xj〉4. Set r ← r − δj · xj and repeat steps 2 and 3 many times
δj = 〈r, xj〉 gives usual forward stagewise; different from forwardstepwise
Analogous to least squares boosting, with trees=predictors
March 2003 Trevor Hastie, Stanford Statistics 6�
�
�
�
Prostate Cancer Data
0.0 0.5 1.0 1.5 2.0 2.5
-0.2
0.0
0.2
0.4
0.6
lcavol
lweight
age
lbph
svi
lcp
gleason
pgg45
0 50 100 150 200 250
-0.2
0.0
0.2
0.4
0.6
lcavol
lweight
age
lbph
svi
lcp
gleason
pgg45
t =∑
j |βj |
Coeffi
cien
ts
Coeffi
cien
ts
Lasso Forward Stagewise
Iteration
March 2003 Trevor Hastie, Stanford Statistics 7�
�
�
�
Linear regression via the Lasso (Tibshirani, 1995)
• Assume y = 0, xj = 0, Var(xj) = 1 for all j.
• Minimize∑
i(yi −∑
j xijβj)2 subject to∑
j |βj | ≤ s
• With orthogonal predictors, solutions are soft thresholdedversion of least squares coefficients:
sign(βj)(|βj | − γ)+
(γ is a function of s)
• For small values of the bound s, Lasso does variable selection.See pictures
March 2003 Trevor Hastie, Stanford Statistics 8�
�
�
�
Lasso and Ridge regression
β^ β^2. .β
1
β2
β1β
March 2003 Trevor Hastie, Stanford Statistics 9�
�
�
�
More on Lasso
• Current implementations use quadratic programming tocompute solutions
• Can be applied when p > n. In that case, number of non-zerocoefficients is at most n − 1 (by convex duality)
• interesting consequences for applications, eg microarray data
March 2003 Trevor Hastie, Stanford Statistics 10�
�
�
�
Diabetes Data
Lasso
0 1000 2000 3000
-500
050
0
123 4 5 67 89 10 1
2
3
4
5
6
78
9
10••• • • •• •• •
Stagewise
0 1000 2000 3000
-500
050
0
123 4 5 67 89 10 1
2
3
4
5
6
78
9
10••• • • •• •• •
t =∑
|βj | →t =∑
|βj | →
βj
March 2003 Trevor Hastie, Stanford Statistics 11�
�
�
�
Why are Forward Stagewise and Lasso so similar?
• Are they identical?
• In orthogonal predictor case: yes
• In hard to verify case of monotone coefficient paths: yes
• In general, almost!
• Least angle regression (LAR) provides answers to thesequestions, and an efficient way to compute the complete Lassosequence of solutions.
March 2003 Trevor Hastie, Stanford Statistics 12�
�
�
�
Least Angle Regression — LAR
Like a “more democratic” version of forward stepwise regression.
1. Start with r = y, β1, β2, . . . βp = 0. Assume xj standardized.
2. Find predictor xj most correlated with r.
3. Increase βj in the direction of sign(corr(r, xj)) until someother competitor xk has as much correlation with currentresidual as does xj .
4. Move (βj , βk) in the joint least squares direction for (xj , xk)until some other competitor x� has as much correlation withthe current residual
5. Continue in this way until all predictors have been entered.Stop when corr(r, xj) = 0 ∀ j, i.e. OLS solution.
March 2003 Trevor Hastie, Stanford Statistics 13�
�
�
�
µ0 µ1
x2 x2
x1
u2
y1
y2
The LAR direction u2 at step 2 makes an equal angle with x1 andx2.
March 2003 Trevor Hastie, Stanford Statistics 14�
�
�
�0 1000 2000 3000
-500
050
0
123 4 5 67 89 10 1
2
3
4
5
6
78
9
10••• • • •• •• •
2 4 6 8 100
5000
1000
015
000
2000
0
••
•
•
•• •
• • •
1
2
3
4
5
6
7
8
9
10
9
4
7
210 5
8 6 1
LARS
Ck
Step k →
|c kj|
∑|βj | →
βj
March 2003 Trevor Hastie, Stanford Statistics 15�
�
�
�
Relationship between the 3 algorithms
• Lasso and forward stagewise can be thought of as restrictedversions of LAR
• For Lasso: Start with LAR. If a coefficient crosses zero, stop.Drop that predictor, recompute the best direction andcontinue. This gives the Lasso path
Proof (lengthy): use Karush-Kuhn-Tucker theory of convexoptimization. Informally:
∂
∂βj
{||y − Xβ||2 + λ
∑
j
|βj | } = 0
⇔
〈xj , r〉 =λ
2sign(βj) if βj �= 0 (active)
March 2003 Trevor Hastie, Stanford Statistics 16�
�
�
�
• For forward stagewise: Start with LAR. Compute best (equalangular) direction at each stage. If direction for any predictor j
doesn’t agree in sign with corr(r, xj), project direction into the“positive cone” and use the projected direction instead.
• in other words, forward stagewise always moves each predictorin the direction of corr(r, xj).
• The incremental forward stagewise procedure approximatesthese steps, one predictor at a time. As step size ε → 0, canshow that it coincides with this modified version of LAR
March 2003 Trevor Hastie, Stanford Statistics 17�
�
�
�
S+A
S+B
SA
CA
vB
vA
x2
x1
x3
The forward stagewise direction lies in the positive cone spannedby the (signed) predictors with equal correlation with the currentresidual.
March 2003 Trevor Hastie, Stanford Statistics 18�
�
�
�
Summary
• LARS—uses least squares directions in the active set of variables.
• Lasso—uses least square directions; if a variable crosses zero, it isremoved from the active set.
• Forward stagewise—uses non-negative least squares directions inthe active set.
March 2003 Trevor Hastie, Stanford Statistics 19�
�
�
�
Benefits
• Possible explanation of the benefit of “slow learning” inboosting: it is approximately fitting via an L1 (lasso) penalty
• new algorithm computes entire Lasso path in same order ofcomputation as one full least squares fit. Splus/R Software onHastie’s website:www-stat.stanford.edu/∼hastie/Papers#LARS
• Degrees of freedom formula for LAR:
After k steps, degrees of freedom of fit = k (with someregularity conditions)
• For Lasso, the procedure often takes > p steps, since predictorscan drop out. Corresponding formula (conjecture):
Degrees of freedom for last model in sequence with k predictorsis equal to k.
March 2003 Trevor Hastie, Stanford Statistics 20�
�
�
�
LARS and Boosting
Recent work with Saharon Rosset and Ji Zhu:
• extends the connections between Forward Stagewise and L1
penalized fitting to other loss functions. In particular theExponential loss of Adaboost, and the Binomial loss ofLogitboost.
• In the separable case, L1 regularized fitting with these lossesconverges to a L1 maximizing margin (defined by β∗), as thepenalty disappears. i.e. if
β(t) = arg minL(y, f) s.t. |β| ≤ t,
then
limt↑∞
β(t)|β(t)| → β∗
March 2003 Trevor Hastie, Stanford Statistics 21�
�
�
�
LARS and Boosting (continued)
• makes connections between SVMs and Boosting, and makesexplicit the margin maximizing properties of boosting.
• experience from statistics suggests that some β(t) along thepath might perform better—a.k.a stopping early.
• Alternatively, using the “Hinge loss” of SVMs and an L1
penalty (rather than quadratic), we get a Lasso version ofSVMs (with at most N variables in the solution for any valueof the penalty.
March 2003 Trevor Hastie, Stanford Statistics 22�
�
�
�
Software for R and Splus
lars() function fits all three models: lasso, lar orforward.stagewise. Methods for prediction, plotting, andcross-validation. Detailed documentation provided. Visitwww-stat.stanford.edu/∼hastie/Papers/#LARS
Main computations involve least squares fitting using the active setof variables. Computations managed by updating the Choleski R
matrix (and frequent downdating for lasso and forward stagewise).
March 2003 Trevor Hastie, Stanford Statistics 23�
�
�
�
MicroArray Example
• Expression data for 38 Leukemia patients (“Golub” data).
• X matrix with 38 samples and 7129 variables (genes)
• Response Y is dichotomous ALL (27) vs AML (11)
• LARS (lasso) took 4 seconds in R version 1.7 on a 1.8Ghz Dellworkstation running Linux.
• In 70 steps, 52 variables ever non zero, at most 37 at a time.
March 2003 Trevor Hastie, Stanford Statistics 24�
�
�
�
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************
********************
0.0 0.2 0.4 0.6 0.8 1.0
−0.
20.
00.
20.
40.
60.
8
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************
********************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * **
****
***
* * *** ****** ** *** **** * ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * *
* ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** *
*****
** * *** ****** ** ***
**** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * *
*
** ** * *** ** * * * *** ******
***** ****
* ** *********************************
*
*
*
** ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* *
*
*
** **
* *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** ***
***** ** ********************************
* * * * * * ** * *** ** * * * *** ******
** *** ***** ** ***********
*********************
* * * * * * ** * *** ** * * * *** ****** ** *** ***** ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * ***
****** ** *** **** * ** **********************
**********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** **********
*********************** * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********
************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ***
*** ** ** *
*** ******
** *** ***** **
********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****
**** ***
***** ** *********
**********************
*
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************
************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * ** * ** * *** ** * * * *** ****** ** *** **** * **
**************************
******
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ****************************
****
* * * * * * ** * *** ** * **
*** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ******** *** **** * ** ***********
*********************
LASSO
2968
6801
2945
461
2267
March 2003 Trevor Hastie, Stanford Statistics 25�
�
�
�
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************
********************
0.0 0.2 0.4 0.6 0.8 1.0
−0.
20.
00.
20.
40.
60.
8
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************
********************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * **
****
***
* * *** ****** ** *** **** * ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * *
* ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** *
*****
** * *** ****** ** ***
**** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * *
*
** ** * *** ** * * * *** ******
***** ****
* ** *********************************
*
*
*
** ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* *
*
*
** **
* *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** ***
***** ** ********************************
* * * * * * ** * *** ** * * * *** ******
** *** ***** ** ***********
*********************
* * * * * * ** * *** ** * * * *** ****** ** *** ***** ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * ***
****** ** *** **** * ** **********************
**********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** **********
*********************** * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********
************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ***
*** ** ** *
*** ******
** *** ***** **
********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****
**** ***
***** ** *********
**********************
*
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************
************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * ** * ** * *** ** * * * *** ****** ** *** **** * **
**************************
******
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ****************************
****
* * * * * * ** * *** ** * **
*** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ******** *** **** * ** ***********
*********************
LASSO
2968
6801
2945
461
2267
0 1 3 4 5 8 12 15 20 26 31 38 50 65
March 2003 Trevor Hastie, Stanford Statistics 26�
�
�
�0.0 0.2 0.4 0.6 0.8 1.0
0.05
0.10
0.15
0.20
0.25
fraction
cv10−fold cross−validation for Leukemia Expression Data (Lasso)
March 2003 Trevor Hastie, Stanford Statistics 27�
�
�
�
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
0.0 0.2 0.4 0.6 0.8 1.0
−0.
50.
00.
51.
0
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * ******
********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * **** *** ********* * ** ** ** * ** ** * * * * *
** * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *
****
******* * ** **
*** ** ** * * * *
*
*
* * * * * *** *** ********** ** ** ** * ** ** * * * *
*
*
* * *
*
**** *** *********
* ****
** * **** * * * *
*
*
*
**
*
**** ***
********** **
** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* **
*
****
************ * ** ** ** * ** ** * * * * *
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********* * ** ****
* ** ** * * * **
*
* * * * * *** *** ********** **
****
* ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
** * * * * *** *** *****
**** * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * **** * * * *
**
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********** ** ** ** * **
*** * * *
*
*
* * * * * *** *** ********* * ** ** ** * **** * * * *
**
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * **
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * ******
********** **
****
***
** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********** **
****
* ** ** * * * * * *
* * * * * *** *** *********
* ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * ** *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
**
* * * * * *** *** *********
* ** ** ** * **** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********** **
**** * **
** * * * *
*
*
LAR
6895
1817
4328
1241
2534
5039
2267
1882
March 2003 Trevor Hastie, Stanford Statistics 28�
�
�
�
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
0.0 0.2 0.4 0.6 0.8 1.0
−0.
50.
00.
51.
0
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * ******
********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * **** *** ********* * ** ** ** * ** ** * * * * *
** * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *
****
******* * ** **
*** ** ** * * * *
*
*
* * * * * *** *** ********** ** ** ** * ** ** * * * *
*
*
* * *
*
**** *** *********
* ****
** * **** * * * *
*
*
*
**
*
**** ***
********** **
** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* **
*
****
************ * ** ** ** * ** ** * * * * *
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********* * ** ****
* ** ** * * * **
*
* * * * * *** *** ********** **
****
* ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
** * * * * *** *** *****
**** * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * **** * * * *
**
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********** ** ** ** * **
*** * * *
*
*
* * * * * *** *** ********* * ** ** ** * **** * * * *
**
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * **
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * ******
********** **
****
***
** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********** **
****
* ** ** * * * * * *
* * * * * *** *** *********
* ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * ** *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
**
* * * * * *** *** *********
* ** ** ** * **** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********** **
**** * **
** * * * *
*
*
LAR
6895
1817
4328
1241
2534
5039
2267
1882
0 2 3 4 8 13 20 25 29 32 35 36 37
March 2003 Trevor Hastie, Stanford Statistics 29�
�
�
�0.0 0.2 0.4 0.6 0.8 1.0
0.05
0.10
0.15
0.20
0.25
fraction
cv10−fold cross−validation for Leukemia Expression Data (LAR)
March 2003 Trevor Hastie, Stanford Statistics 30�
�
�
�
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
0.0 0.2 0.4 0.6 0.8 1.0
−0.
20.
00.
20.
40.
6
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *********************** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ***************** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * **
****
*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * *
* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ****
*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** *** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * *
*
** ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** *******************************************************************************************************************************************************************************************************************************************************************************************************
*
*
*
*
* ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* *
*
*
*
* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * *********************** *********** *********************************************************************
*********************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * *****************
****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *****************
***************** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** *** ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** ********************************
*********************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ****
* *****************
****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ****
***
** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************
************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * *
** **
** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ******
*********** *******************
***********************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
Forward Stagewise
4535
4399
8727
7446
118
3422
6718
82
March 2003 Trevor Hastie, Stanford Statistics 31�
�
�
�
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
0.0 0.2 0.4 0.6 0.8 1.0
−0.
20.
00.
20.
40.
6
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *********************** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ***************** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * **
****
*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * *
* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ****
*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** *** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * *
*
** ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** *******************************************************************************************************************************************************************************************************************************************************************************************************
*
*
*
*
* ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* *
*
*
*
* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * *********************** *********** *********************************************************************
*********************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * *****************
****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *****************
***************** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** *** ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** ********************************
*********************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ****
* *****************
****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ****
***
** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************
************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * *
** **
** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ******
*********** *******************
***********************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
Forward Stagewise
4535
4399
8727
7446
118
3422
6718
82
0 1 3 4 5 8 12 15 19 29 43 54 82 121
March 2003 Trevor Hastie, Stanford Statistics 32�
�
�
�0.0 0.2 0.4 0.6 0.8 1.0
0.05
0.10
0.15
0.20
0.25
fraction
cv10−fold cross−validation for Leukemia Expression Data (Stagewise)
March 2003 Trevor Hastie, Stanford Statistics 33�
�
�
�
Degrees of freedom
step k-->
df e
stim
ate
0 2 4 6 8 10
0
2
4
6
8
10
•
•
•
•
•
••
•
•
•
step k-->
df e
stim
ate
0 10 20 30 40 50 60
0
10
20
30
40
50
60
••••••
••••••
••••••
••••••
••••••
••••••
••••••
••••••
••••••
••••••
••••
March 2003 Trevor Hastie, Stanford Statistics 34�
�
�
�
Degree of Freedom result
Proof is based on is an application of Stein’s unbiased risk estimate(SURE). Suppose that g : R
n → Rn is almost differentiable and
set ∇ · g =∑n
i=1 ∂gi/∂xi. If y ∼ Nn(µ, σ2I), then Stein’s formulastates that
n∑
i=1
cov(gi, yi)/σ2 = E[∇ · g(y)].
LHS is degrees of freedom. Set g(·) equal to the LAR estimate. Inorthogonal case, ∂gi/∂xi is 1 if predictor is in model, 0 otherwise.Hence RHS equals number of predictors in model (= k).
Non-orthogonal case is much harder.
March 2003 Trevor Hastie, Stanford Statistics 35�
�
�
�
Future directions
• Lasso has applications in genetics, e.g. microarray data, massspectroscopy for measuring proteins. LARS algorithm willallow application to large problems.
• generalization to other models, e.g. logistic regression
• other stepwise algorithms, for other loss functions.
• use ideas to make better versions of boosting (Bogdan Popescu,Ji Zhu, Saharon Rosset)