回归（Regression）

---

1 基本介绍

• 回归的应用：1、股票价格预测；2、自动驾驶；3、推荐算法
• Example：预测pokemon的Combat Power

   机器学习的基本步骤：从一系列的函数集合中找到一个最符合当前训练集合的函数。简单的Linear Model形式：y=b+∑wi⋅xi

• Trainin Data： D={(x1,y1),(x2,y2),……(xn,yn)}
• Loss function： L(f)=L(w,b)=∑ni=1(yi−(w⋅xi+b))2
• f∗=argminfL(f)
• w∗,b∗=argminw,bL(w,b)

---

2 梯度下降（Gradient Descent）

• 1、随机选取w0、b0；2、计算微分∂L∂w|w=w0,b=b0、∂L∂b|w=w0,b=b0;3、更新w1←w0−η∂L∂w|w=w0，b=b0，b1←b0−η∂L∂b|w=w0，b=b0，η为学习率。4、更新偏微分，更新参数，不断迭代；
• Gradient：∇L=⎡⎣∂L∂w∂L∂b⎤⎦
• 梯度下降目标函数若存在多峰，很可能最终得到的是一个局部最优值，最终结果依赖随机初始的值。但是在线性回归中没有局部最优，因此可以避免这个问题。

---

3 Linear Regression推导

∂L∂w=∑i=1n2(yi−(b+wxi))(−xi)∂L∂b=∑i=1n2(yi−(b+wxi))(−1)

• Average error on training data：1n∑ni=1ei
• 评估模型好坏：testing data、Generalization

---

4 过拟合

• 二次模型：y=b+w1x+w2x2
• ……
• 对于n条数据可以训练出一个n-1次模型以0误差拟合，但是过拟合（overfitting）！越复杂的模型在testing data上表现越差。

---

5 Regularization

• 过拟合的解决方式之一：正则化。
• L=∑ni=1(yi−(w⋅xi+b))2+λ∑||wi||2
    期望得到的模型中，wi不为零的数越少越好，越少意味着模型越简单，模型越平滑。