【转载】梯度下降法（一）入门

原文请看这里：http://www.52ml.net/2038.html

梯度下降法是一个一阶最优化算法，通常也称为最速下降法。我之前也没有关注过这类算法。最近，听斯坦福大学的机器学习课程时，碰到了用梯度下降算法求解线性回归问题，于是看了看这类算法的思想。今天只写了一些入门级的知识。

我们知道，函数的曲线如下：

编程实现：c++ code

/* * @author:郑海波 * blog.csdn.net/nuptboyzhb/ * 2012-12-11 */#include <iostream>include <math.h>using namespace std;int main(){double e=0.00001;//定义迭代精度double alpha=0.5;//定义迭代步长double x=0;//初始化xdouble y0=x*x-3*x+2;//与初始化x对应的y值double y1=0;//定义变量，用于保存当前值while (true){x=x-alpha*(2.0*x-3.0);y1=x*x-3*x+2;if (abs(y1-y0)<e)//如果2次迭代的结果变化很小，结束迭代{break;}y0=y1;//更新迭代的结果}cout<<"Min(f(x))="<<y0<<endl;cout<<"minx="<<x<<endl;return 0;}//运行结果//Min(f(x))=-0.25//minx=1.5//Press any key to continue

问题：

迭代步长alpha为什么要选择0.5？？选择其他的值可以吗？它的取值与迭代的次数、收敛性及结果的准确性有何关系？如果选择alpha的值？下次好好的探讨。