第二周--线性回归问题

来源:互联网 发布:扫描仪专用软件 京瓷 编辑:程序博客网 时间:2024/05/15 17:34

两种方法:

1.梯度下降法

 

   优点:即使特征变量的维度n很大,该方法依然很有效

   缺点1)需要选择学习速率α

          2)需要多次迭代

 

 

 

2.正规方程法

该方法可以一次性求解参数Θ


 

    优点1)不需要选择α

            2)不用多次迭代,一次求解

            3)正规方程法不需要归一化处理

    缺点:逆矩阵的计算量比较大,尤其当特征变量的维度n很大时;计算逆矩阵的运算量大概是矩阵维度的3次方。

 

总结:当特征变量维度n较大时(n>=10000),选择梯度下降法;当n值较小时(n<10000),选择正规方程法求解Θ

 

 备注:求解模型代价函数J(Θ)的最小值方法,本文分析主要针对线性回归模型。对于线性回归模型而言,在特征变量维度不是很大的情况下(n<10000),使用正规方程求解Θ是一个很快捷的方法;但是对于分类问题, 比如逻辑回归这种更加复杂的模型,根本就不能使用正规方程法,而只能使用梯度下降法求救Θ。所以,梯度下降法用的更广泛一些。

 

 

 

原创粉丝点击