Statistical Machine Learning
10-702/36-702, Spring 2011
Aarti Singh and
Larry Wasserman
Class Assistant: Michelle Martin
Teaching Assistants: T. K. Huang, Min Xu
 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Lecture: |
Date and Time: Monday and Wednesday, 10:30 - 11:50 am Location: 1305 NSH |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Recitation: |
Date and Time: Thursday, 5 - 6 pm Location: 1305 NSH |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Week | Date | Day | Lecture | Topic | Notes/Assignments | Due | |
| 1 | Jan 10 |
M | 1 (L) |
Concentration of Measure ( Recitation Notes 1 ) |
Syllabus |
||
| Jan 12 |
W | 2 (L) |
Concentration of Measure |
Hwk 1 Solution |
|||
| 2 | Jan 17 |
M | 3 (A) |
Convexity I (Recitation Notes 2) |
|||
| Jan 19 |
W | 4 (A) |
Convexity II | Some useful links for Fenchel duality:link1, link2 | Hwk 1 (Friday) |
||
| 3 | Jan 24 |
M | 5 (A) |
Optimization |
Hwk 2 Solution |
||
| Jan 26 |
W | 6 (L) |
Nonparametric Density Estimation | ||||
| 4 | Jan 31 |
M | 7 (L) |
Nonparametric Regression | |||
| Feb 2 |
W | 8 (L) |
Nonparametric Regression ( Recitation Notes: derivation of loo formula) |
Hwk 2 (Friday) |
|||
| 5 | Feb 7 |
M | 9 (A) |
Nonparametric Classification (Notes on Analysis of Histogram and Decision Tree Classifiers) |
Hwk 3 Solutions |
||
| Feb 9 |
W | 10 (L) |
Nonparametric Bayes ( Recitation Notes 5 ) |
||||
| 6 | Feb 14 |
M | 11 (L) |
Minimax Theory | Project proposals | ||
| Feb 16 |
W | 12 (L) |
Minimax Theory (Recitation Notes 6) |
Hwk 3 (Friday) |
|||
| 7 | Feb 21 |
M | 13 (A) |
Undirected graphical models (Notes on undirected graphical model representation) (Papers on structural consistency for Gaussian graphical model and Ising model) (Recitation notes on the Glasso algorithm) |
Hwk 4 |
||
| Feb 23 |
W | 14 (A) |
Nonparametric graphical models (Nonparanormal, Forest Density Estimation papers) |
||||
| 8 | Feb 28 |
M | 15 (A) |
Surrogate loss functions | |||
| Mar 2 |
W | Midterm
exam Solution |
practice midterm | ||||
| 9 | Mar 7 |
M | Spring break; no class | ||||
| Mar 9 |
W | ||||||
| 10 | Mar 14 |
M | 16 (L) |
Simulation |
|||
| Mar 16 |
W | 17 (L) |
EM/Variational | Hwk 4 (Friday) |
|||
| 11 | Mar 21 |
M | 18 (A) |
Fast Rates for Classification
Recitation Notes 9 |
Hwk 5 Gibbs sampling Paper by Ishwaran-James |
||
| Mar 23 |
W | 19 (A) |
Random Projections | ||||
| 12 | Mar 28 |
M | 20 (L) |
RKHS Recitation Notes 10 |
|||
| Mar 30 |
W | 21 (L) |
Random Matrix Theory | Hwk 5 (Friday) |
|||
| 13 | Apr 4 |
M | 22 (A) |
Clustering | |||
| Apr 6 |
W | 23 (A) |
Clustering | Project progress report (Friday) |
|||
| 14 | Apr 11 |
M | 24 (L) |
Manifold learning | |||
| Apr 13 |
W | 25 (L) |
Sparsity and high dimensional inference | Hwk 6 | |||
| 15 | Apr 18 |
M | 26 (L) |
Sparsity and high dimensional inference | |||
| Apr 20 |
W | 27 (A) |
Semi-supervised Learning | ||||
| 16 | Apr 25 |
M | 28 (A) |
Active Learning | Project spotlights | ||
| Apr 27 |
W | 29 |
Student project spotlights | Hwk 6 (Friday) |
|||
| Final
projects due
Tuesday, May 3 |
|||||||