回归问题中-梯度下降原理及思考

    梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

   神经网络算法中，每个感知机内部权重可通过梯度下降算法逼近，常用随机梯度下降法。下文就梯度下降基本原理，展开证明。

   梯度下降核心思想是基于偏导数原理求函数最小值，因此要求原函数的二次导数恒大于等于0（可证）。沿偏导数梯度下降最快（用泰勒公式证明）。

   那么问题来了，基于偏导数，那么理论上只要有跟线性公式系数数量相等的样本数，就可求出系数值。为何需要梯度下降？主要有两点：1、数据存在噪声，根据有限样本可能求不出理论解，或者理论解包含了噪声信息。2、划分样本的超平面存在多解，偏导理论解只是针对有限样本信息的最有划分超平面。

    那么问题来了，梯度逼近结果是包含全部样本信息的近似最优超平面，还是参与梯度后半程逼近的样本贡献度更大?