线性回归学习总结(未完待续）

线性回归学习总结

1. 回归定义.
2. 目标函数.
3. θ的解析式求解过程
4. 正则项与防止过拟合
5. θ的SVD求解法
6. 梯度下降算法
7. 线性回归的优缺点和使用场景
8. python实例
9. spark实例

相关知识参考：
1. 最大似然估计
2. 最小二乘法
3. 中心极限定理
4. 高斯分布
5. 向量的导数
6. 标量对向量的导数
7. 正定矩阵、逆矩阵、对称阵、转置矩阵
9. SVD奇异值分解

相应扩展

1. logistic回归
2. softmax回归
3.

1、定义

对于结果为连续型变量的问题建模过程称为解决回归问题
对于结果为离散变量的问题建模过程称为解决分类问题
最简单的线性回归模型函数：y=ax+b
如果x为多维向量，则有模型函数：

hθ(x)=∑i=0nθixi=θTx

这里，线性或者非线性针对的是自变量的系数θ，而非自变量x本身，所以这样的话不管自变量如何变化，自变量的系数如果符合线性我们就说这是线性的。所以可能存在x的多项式的线性回归，如：

y=θ0+θ1x+θ2x2+θ3x3

2、目标函数

观测值计算公式为：

y(i)=θTx(i)+ε(i)

其中y(i)为第i个实际观测值，θTx(i)是根据模型得到的第i个估计值，ε(i)是实际值与估计值的误差。根据中心极限定理，误差ε(i)(1≤i≤m)是独立同分布的，服从均值为0，方差为某定值σ2的高斯分布。则根据正态分布的最大似然估计得出似然函数为：

3、θ的解析式求解过程

4、正则项与防止过拟合

• L1正则项复杂度惩罚因子回归：LASSO
  可用于特征关键性排序

• L2正则项复杂度惩罚因子回归：Ridge

• 混合复杂度惩罚因子回归：Elastic Net

5、θ的SVD求解法

6、梯度下降算法

批量梯度下降
随机梯度下降
mini-batch梯度下降

7、线性回归的优缺点和使用场景

8、python实例

9、spark实例