[占坑，暂时只写了大纲！] 凸优化笔记----2017 HIT 暑期学校学到的一点儿东西

说明

主要写下记录的一点儿笔记（以防白听啊!!）。由于他讲的是比较形象化的，所以记录时也是。
暂时只记录大纲：

第一堂

核心思想：大部分的机器学习问题都可以转换为优化问题。优化问题就可以用梯度下降进行求解。

分类问题的优化表示

正则项加入的形象说明

PCA以及Kmeans的优化问题表示

第二堂

投影梯度下降（PGD）

基础知识

Bregman divergence

subdifferential

Lipchitz continous

满足Lipchitz连续条件的梯度下降收敛速率的证明

满足smoothness的梯度下降收敛速率证明

第三堂

Bregman divergence对于两个常见函数的具体形式

满足strong convexity且Lipchitz连续的梯度下降收敛速率的证明

满足smoothness和strong convexity的投影梯度下降收敛速率的证明

随机梯度下降的收敛速率

PPT上的一些东西

第四堂

推荐的两篇博客

Mirror descent

那个PPT

推荐他们实验室的Ray。。

Bootstrap