http://blog.csdn.net/wlmnzf/article/details/72855610?utm_source=itdadao

来源：互联网发布：北京大学网络教育官网编辑：程序博客网时间：2024/06/01 17:32

<h1>
 <a href="/wlmnzf/article/details/72855610">
 机器学习之梯度下降法数学推导--回归

 </a>

</h1>
</div>

<div class="article_manage clearfix">
 <div class="article_l">
 
 标签：
 <a onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_tag']);" href="http://www.csdn.net/tag/%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0" target="_blank">机器学习</a><a onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_tag']);" href="http://www.csdn.net/tag/%e7%ae%97%e6%b3%95" target="_blank">算法</a><a onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_tag']);" href="http://www.csdn.net/tag/%e6%95%b0%e5%ad%a6" target="_blank">数学</a><a onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_tag']);" href="http://www.csdn.net/tag/%e6%a2%af%e5%ba%a6%e4%b8%8b%e9%99%8d%e7%ae%97%e6%b3%95" target="_blank">梯度下降算法</a><a onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_tag']);" href="http://www.csdn.net/tag/%e6%a2%af%e5%ba%a6%e4%b8%8a%e5%8d%87%e7%ae%97%e6%b3%95" target="_blank">梯度上升算法</a>
 
 </div>
 <div class="article_r">
 2017-06-06 00:38
 143人阅读
 <a onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_pinglun'])" href="#comments">评论</a>(0)
 <a title="收藏" onclick="javascript:collectArticle('%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e4%b9%8b%e6%a2%af%e5%ba%a6%e4%b8%8b%e9%99%8d%e6%b3%95%e6%95%b0%e5%ad%a6%e6%8e%a8%e5%af%bc--%e5%9b%9e%e5%bd%92','72855610');return false;" href="javascript:void(0);" target="_blank">收藏</a>
 <a title="举报" onclick="javascript:report(72855610,2);return false;" href="#report">举报</a>

</div>
 </div> <style type="text/css">
 .embody{
 padding:10px 10px 10px;
 margin:0 -20px;
 border-bottom:solid 1px #ededed;
 }
 .embody_b{
 margin:0 ;
 padding:10px 0;
 }
 .embody .embody_t,.embody .embody_c{
 display: inline-block;
 margin-right:10px;
 }
 .embody_t{
 font-size: 12px;
 color:#999;
 }
 .embody_c{
 font-size: 12px;
 }
 .embody_c img,.embody_c em{
 display: inline-block;
 vertical-align: middle;
 }
 .embody_c img{
 width:30px;
 height:30px;
 }
 .embody_c em{
 margin: 0 20px 0 10px;
 color:#333;
 font-style: normal;
 }
 </style>
 <script type="text/javascript">
 $(function () {
 try
 {
 var lib = eval("("+$("#lib").attr("value")+")");
 var html = "";
 if (lib.err == 0) {
 $.each(lib.data, function (i) {
 var obj = lib.data[i];
 //html += '<img src="' + obj.logo + '"/>' + obj.name + "  ";
 html += ' <a href="' + obj.url + '" target="_blank">';
 html += ' <img src="' + obj.logo + '">';
 html += ' ' + obj.name + '';
 html += ' </a>';
 });
 if (html != "") {
 setTimeout(function () {
 $("#lib").html(html);
 $("#embody").show();
 }, 100);
 }
 }
 } catch (err)
 { }

 });
 </script>
 <div class="category clearfix">
 <div class="category_l">
 <img src="http://static.blog.csdn.net/images/category_icon.jpg">
 分类：
 </div>
 <div class="category_r">
 <label onclick="GetCategoryArticles('6092978','wlmnzf','top','72855610');">
 机器学习（2）
 <img class="arrow-down" style="display:inline;" src="http://static.blog.csdn.net/images/arrow_triangle _down.jpg">
 <img class="arrow-up" style="display:none;" src="http://static.blog.csdn.net/images/arrow_triangle_up.jpg">
 <div class="subItem">
 <div class="subItem_t"><a href="http://blog.csdn.net/wlmnzf/article/category/6092978" target="_blank">作者同类文章</a>X</div>
 <ul class="subItem_l" id="top_6092978">
 </ul>
 </div>
 </label>
 <label onclick="GetCategoryArticles('6956854','wlmnzf','top','72855610');">
 梯度下降（1）
 <img class="arrow-down" style="display:inline;" src="http://static.blog.csdn.net/images/arrow_triangle _down.jpg">
 <img class="arrow-up" style="display:none;" src="http://static.blog.csdn.net/images/arrow_triangle_up.jpg">
 <div class="subItem">
 <div class="subItem_t"><a href="http://blog.csdn.net/wlmnzf/article/category/6956854" target="_blank">作者同类文章</a>X</div>
 <ul class="subItem_l" id="top_6956854">
 </ul>
 </div>
 </label>
 <label onclick="GetCategoryArticles('7002355','wlmnzf','top','72855610');">
 csuncle（1）
 <img class="arrow-down" style="display:inline;" src="http://static.blog.csdn.net/images/arrow_triangle _down.jpg">
 <img class="arrow-up" style="display:none;" src="http://static.blog.csdn.net/images/arrow_triangle_up.jpg">
 <div class="subItem">
 <div class="subItem_t"><a href="http://blog.csdn.net/wlmnzf/article/category/7002355" target="_blank">作者同类文章</a>X</div>
 <ul class="subItem_l" id="top_7002355">
 </ul>
 </div>
 </label>
 </div>
 </div>
 <div class="bog_copyright">
 版权声明：本文为博主原创文章，未经博主允许不得转载。
 </div>

<div style="clear:both"></div><div style="border:solid 1px #ccc; background:#eee; float:left; min-width:200px;padding:4px 10px;">目录<a title="系统根据文章中H1到H6标签自动生成文章目录" href="#">(?)</a><a title="展开" onclick="javascript:return openct(this);" href="#">[+]</a><ol style="display:none;margin-left:14px;padding-left:14px;line-height:160%;"><li><a href="#t0">前言</a></li><li><a href="#t1">有监督回归算法</a></li><li><a href="#t2">最小二乘法</a></li><li><a href="#t3">参考</a></li><ol><li><a href="#t4">来源</a></li></ol></ol></div><div style="clear:both"></div><div class="article_content tracking-ad" id="article_content" data-mod="popu_307" data-dsm="post">
<div class="markdown_views"><h4 id="前言"><a name="t0" target="_blank"></a>前言</h4>

本来对数学没什么感觉的，但是停摆了一年复习考研，于是开始对数学有些感觉了，之前看到《<a title="机器学习知识库" class="replace_word" style="color:#df3434; font-weight:bold;" href="http://lib.csdn.net/base/machinelearning" target="_blank">机器学习</a>实战》中第五章中梯度上升法，使用了一个它所谓的十分简单的推导，一直好奇怎么个简单法，于是重新学习机器学习的相关<a title="算法与数据结构知识库" class="replace_word" style="color:#df3434; font-weight:bold;" href="http://lib.csdn.net/base/datastructure" target="_blank">算法</a>，这次将主推数学推导。

<h4 id="有监督回归算法"><a name="t1" target="_blank"></a>有监督回归算法</h4>

在机器学习中，多元线性回归模型是经常使用的模型，比如在吴恩达《斯坦福机器学习》中的例子，我们需要根据已有的房价信息预测当前房子的房价，于是我们收集到一些房价数据。

再将它们画在二维坐标上，它们就以离散的点分布在平面上，如下所示 
<img title="" alt="房价分布情况" src="http://img.blog.csdn.net/20170701112520064?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2xtbnpm/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast">

我们希望能根据这些已知的点来预测我们想知道的房子的房价，因此我们需要找到一条规律，也就是一条大致经过这些点的线性模型，在数学上我们通常称之为拟合，而这个拟合的过程，我们称之为回归。

假设我们建立的模型是一元一次的，将得到这样的拟合结果，于是我们可以x轴上的房屋面积，找到对应的房屋价格。

有监督的学习算法，可以理解成我们训练模型的时候每一个输入都是有标准答案的，我们通过预测值跟标准答案的比对，不断修改模型的参数才能最终实现较好地的拟合结果。

<h4 id="最小二乘法"><a name="t2" target="_blank"></a>最小二乘法</h4>

最小二乘法是我们经常使用的拟合算法，它通过最小化误差的平方和寻找数据的最佳函数匹配。

以我们《机器学习实战》第五章作例子，我们假设的模型为z，于是函数即可设为 
<div class="MathJax_Display" role="textbox" aria-readonly="true">z=w0+w1x1+w2x2+w3x3+....+wnxn=w0x0+w1x1+w2x2+w3x3+....+wnxn(x0=1)(1)<span style="width: 0px; height: 3.11em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -1.24em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-1" type="math/tex; mode=display">
\begin{equation}
z=w0+w_1x_1+w2x2+w3x3+....+w_nx_n\\=w_0x_0+w_1x_1+w2x2+w3x3+....+w_nx_n (x0=1) \tag{1}
\end{equation}
</script> 
    这种写法也可以表示为向量的写法: 
<div class="MathJax_Display" role="textbox" aria-readonly="true">z=wTx=[w0w1...wn]⎡⎣⎢⎢⎢x0x1...xn⎤⎦⎥⎥⎥(2)<span style="width: 0px; height: 6.63em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -3em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-2" type="math/tex; mode=display">
z=w^Tx=
\begin{bmatrix}
w_0&w_1&...&w_n
\end{bmatrix}
\begin{bmatrix}
x_0\\
x_1\\
...\\
x_n\\
\end{bmatrix} \tag{2}
</script> 
    同样的道理，我们也可以这样子表示 
<div class="MathJax_Display" role="textbox" aria-readonly="true">z=xTw=[x0x1...xn]⎡⎣⎢⎢⎢w0w1...wn⎤⎦⎥⎥⎥(3)<span style="width: 0px; height: 6.63em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -3em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-3" type="math/tex; mode=display">
z=x^Tw=
\begin{bmatrix}
x_0&x_1&...&x_n
\end{bmatrix}
\begin{bmatrix}
w_0\\
w_1\\
...\\
w_n\\
\end{bmatrix} \tag{3}
</script>

刚才我们也提到了，最小二乘法拟合的原理是最小化误差的平方和，我们将这个平方和称为损失函数，跟我们平时常用的方差类似，当这个损失函数越小，我们的模型就越能跟离散的点匹配起来: 
<div class="MathJax_Display" role="textbox" aria-readonly="true">f(w)=12∑i=1m(zw(xi)−yj)2(4)<span style="width: 0px; height: 3.58em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -1.47em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-4" type="math/tex; mode=display">
f(w)=\frac{1}{2} \sum_{i=1}^m(z_w( x_i) -y_j )^2 \tag{4}
</script> 
其中的y表示我们给出的标准的特征⎡⎣⎢⎢⎢⎢y0y1...ym⎤⎦⎥⎥⎥⎥<span style="width: 0px; height: 6.81em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -3.09em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"><script id="MathJax-Element-5" type="math/tex">
\begin{bmatrix}
y_0\\
y_1\\
...\\
y_m\\
\end{bmatrix}
</script>

因为梯度上升算法是用来计算函数的最大值的，而梯度下降算法则是计算函数最小值的。而我们的损失函数自然是越小越好，我们需要求得一个系数来使得f(w)最小，可是使用梯度上升法是用于求最大值的，因此为了用上梯度上升算法，我们最终应该在f(w)前加上负号。假设: 
<div class="MathJax_Display" role="textbox" aria-readonly="true">J(w)=−f(w)(5)<span style="width: 0px; height: 1.44em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -0.41em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-6" type="math/tex; mode=display">
J(w)=-f(w) \tag{5}
</script> 
接下来我们开始利用矩阵来推算我们的数学公式，因为原始的公式用来做迭代计算会很不方便，因此我们需要一个等价的公式来让我们的算法更加高效，就例如《机器学习实战》chapter5中的那样。假设我们的输入为X,我们有m组训练数据，每个数据有n个特征。则: 
<div class="MathJax_Display" role="textbox" aria-readonly="true">X=⎡⎣⎢⎢⎢x11x21...xm1x12x22...xm2............x1nx2n...xmn⎤⎦⎥⎥⎥=⎡⎣⎢⎢⎢⎢xT1xT2...xm⎤⎦⎥⎥⎥⎥(6)<span style="width: 0px; height: 6.95em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -3.16em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-7" type="math/tex; mode=display">
\begin{equation}
X=
 \begin{bmatrix}
 x_{11}&x_{12}&...&x_{1n}\\
 x_{21}&x_{22}&...&x_{2n}\\
 ...&...&...&...\\
 x_{m1}&x_{m2}&...&x_{mn}\\
 \end{bmatrix}
 =
 \begin{bmatrix}
 x_1^{T}\\
 x_2 ^{T}\\
 ...\\
 x_m\\
 \end{bmatrix}\tag{6}
 \end{equation}
</script> 
于是通过（3）可以推出 
<div class="MathJax_Display" role="textbox" aria-readonly="true">Xw=⎡⎣⎢⎢⎢⎢xT1xT2...xTm⎤⎦⎥⎥⎥⎥w=⎡⎣⎢⎢⎢⎢xT1wxT2w...xTmw⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢zw(x1)zw(x2)...zw(xm)⎤⎦⎥⎥⎥⎥(7)<span style="width: 0px; height: 6.98em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -3.18em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-8" type="math/tex; mode=display">
Xw=
\begin{bmatrix}
x_1^T\\
x_2^T\\
...\\
x_m^T\\
\end{bmatrix}
w=
\begin{bmatrix}
x_1^Tw\\
x_2^Tw\\
...\\
x_m^Tw\\
\end{bmatrix}=
\begin{bmatrix}
z_w(x_1)\\
z_w(x_2)\\
...\\
z_w(x_m)\\
\end{bmatrix} \tag{7}
</script> 
<div class="MathJax_Display" role="textbox" aria-readonly="true">Xw−y→=⎡⎣⎢⎢⎢⎢xT1wxT2w...xTmw⎤⎦⎥⎥⎥⎥−⎡⎣⎢⎢⎢⎢y1y2...ym⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢zw(x1)−y1zw(x2)−y2...zw(xm)−ym⎤⎦⎥⎥⎥⎥(8)<span style="width: 0px; height: 6.98em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -3.18em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-9" type="math/tex; mode=display">
Xw-\overrightarrow{y}=
\begin{bmatrix}
x_1^Tw\\
x_2^Tw\\
...\\
x_m^Tw\\
\end{bmatrix}-
\begin{bmatrix}
y_1\\
y_2\\
...\\
y_m\\
\end{bmatrix}=
\begin{bmatrix}
z_w(x_1)-y_1\\
z_w(x_2)-y_2\\
...\\
z_w(x_m)-y_m
\end{bmatrix} \tag{8}
</script> 
由矩阵内积可得 
<div class="MathJax_Display" role="textbox" aria-readonly="true" style="text-align: center;">∵zTz=∑inz2i<span style="width: 0px; height: 3.57em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -1.55em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-10" type="math/tex; mode=display">
\because z^Tz=\sum_i^nz_i^2
</script> 
<div class="MathJax_Display" role="textbox" aria-readonly="true" style="text-align: center;">∴12(Xw−y→)T(Xw−y→)=12∑i=1n(zw(xi)−yi)2=f(w)<span style="width: 0px; height: 3.58em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -1.56em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-11" type="math/tex; mode=display">
\therefore \frac{1}{2}(Xw-\overrightarrow{y})^T(Xw-\overrightarrow{y})= \frac{1}{2}\sum_{i=1}^n(z_w(x_i)-y_i)^2=f(w)
</script> 
则梯度为 
<div class="MathJax_Display" role="textbox" aria-readonly="true" style="text-align: center;">∇wf(w)=∇w12(Xw−y→)T(Xw−y→)=12∇w(wTXTXw−wTXTy→−y→TXw+y→Ty→)=12∇wtr(wTXTXw−wTXTy→−y→TXw+y→Ty→)=12∇w(trwTXTXw−2try→TXw)=12(XTXw+XTXw−2XTy→)=XTXw−XTy→=XT(Xw−y→)=>J(w)=−f(w)=XT(y→−Xw)<span style="width: 0px; height: 20.87em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -10.12em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"></div><script id="MathJax-Element-12" type="math/tex; mode=display">
\begin{equation}
\begin{split}
&\nabla_wf(w)=\nabla_w\frac{1}{2}(Xw-\overrightarrow{y})^T(Xw-\overrightarrow{y})\\
&=\frac{1}{2}\nabla_w(w^TX^TXw-w^TX^T\overrightarrow{y}-\overrightarrow{y}^TXw+\overrightarrow{y}^T\overrightarrow{y})\\
&=\frac{1}{2}\nabla_wtr(w^TX^TXw-w^TX^T\overrightarrow{y}-\overrightarrow{y}^TXw+\overrightarrow{y}^T\overrightarrow{y}) \\
&=\frac{1}{2}\nabla_w(trw^TX^TXw-2tr\overrightarrow{y}^TXw) \\
&=\frac{1}{2}(X^TXw+X^TXw-2X^T\overrightarrow{y})\\
&=X^TXw-X^T\overrightarrow{y}=X^T(Xw-\overrightarrow{y})\\\\
&=>J(w)=-f(w)=X^T(\overrightarrow{y}-Xw)
\end{split}
\end{equation}
</script> 
说明： 
第二步：类似于括号展开 
第三步:实数的迹等于它本身 
第四步:因为y→Ty→<span style="width: 0px; height: 2.21em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -0.32em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"><script id="MathJax-Element-13" type="math/tex">\overrightarrow{y}^T\overrightarrow{y}</script>不含w，因此它对w求导为0.并且利用了公式trA=trAT<span style="width: 0px; height: 1.29em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -0.08em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"><script id="MathJax-Element-14" type="math/tex">trA=trA^T</script>进行简化。 
第五步:利用公式∇ATtrABATC=BTATCT+BATC<span style="width: 0px; height: 1.67em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -0.45em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"><script id="MathJax-Element-15" type="math/tex">\nabla_{A^T}trABA^TC=B^TA^TC^T+BA^TC</script>,令AT=w,B=BT=XTX,C=I<span style="width: 0px; height: 1.52em; color: rgb(255, 255, 255); overflow: hidden; vertical-align: -0.3em; border-left-color: currentColor; border-left-width: 0em; border-left-style: solid; display: inline-block;"><script id="MathJax-Element-16" type="math/tex">A^T=w,B=B^T=X^TX,C=I</script>,利用公式转化即可得到。

最后再回到《机器学习实战》中，P78,代码清单5-1②的部分。 
dataMatrix=X; 
weights=w; 
labelMat=y; 
把等号右边的用左边的变量代入，不过很遗憾，还是有些区别的，在《机器学习实战》一书中，还有sigmoid这一函数，查阅了一些资料，发现其实还是有些区别的，将于下一篇博文中阐明。

<blockquote>
吴恩达《机器学习》notes1 
周志华《机器学习》chapter3 线性模型
</blockquote>

<blockquote>
<a href="http://csuncle.com/2017/06/13/%E3%80%8A%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%AE%9E%E6%88%98%E3%80%8B-chapter5%E6%A2%AF%E5%BA%A6%E4%B8%8A%E5%8D%87%E7%AE%97%E6%B3%95-%E6%95%B0%E5%AD%A6%E6%8E%A8%E5%AF%BC/" target="_blank">http://csuncle.com/2017/06/13/《机器学习实战》-chapter5梯度上升算法-数学推导/</a>
</blockquote></div>
 <script type="text/javascript">
 $(function () {
 $('pre.prettyprint code').each(function () {
 var lines = $(this).text().split('\n').length;
 var $numbering = $('<ul></ul>').addClass('pre-numbering').hide();
 $(this).addClass('has-numbering').parent().append($numbering);
 for (i = 1; i <= lines; i++) {
 $numbering.append($('<li></li>').text(i));
 };
 $numbering.fadeIn(1700);
 });
 });
 </script>

</div>

<div class="bdsharebuttonbox tracking-ad bdshare-button-style0-16" style="float: right;" data-mod="popu_172" data-bd-bind="1499950205434">
<a class="bds_more" style="background-position:0 0 !important; background-image: url(http://bdimg.share.baidu.com/static/api/img/share/icons_0_16.png?v=d754dcc0.png) !important" href="#" target="_blank" data-cmd="more"></a>
<a title="分享到QQ空间" class="bds_qzone" style="background-position:0 -52px !important" href="#" target="_blank" data-cmd="qzone"></a>
<a title="分享到新浪微博" class="bds_tsina" style="background-position:0 -104px !important" href="#" target="_blank" data-cmd="tsina"></a>
<a title="分享到腾讯微博" class="bds_tqq" style="background-position:0 -260px !important" href="#" target="_blank" data-cmd="tqq"></a>
<a title="分享到人人网" class="bds_renren" style="background-position:0 -208px !important" href="#" target="_blank" data-cmd="renren"></a>
<a title="分享到微信" class="bds_weixin" style="background-position:0 -1612px !important" href="#" target="_blank" data-cmd="weixin"></a>
</div>
<script>window._bd_share_config = { "common": { "bdSnsKey": {}, "bdText": "", "bdMini": "1", "bdMiniList": false, "bdPic": "", "bdStyle": "0", "bdSize": "16" }, "share": {} }; with (document) 0[(getElementsByTagName('head')[0] || body).appendChild(createElement('script')).src = 'http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion=' + ~(-new Date() / 36e5)];</script>

<script id="bdshare_js" src="http://bdimg.share.baidu.com/static/js/bds_s_v2.js?cdnversion=416653" type="text/javascript" data="type=tools&uid=1536434"></script>

<div id="digg" articleid="72855610">
 <dl class="digg digg_enable" id="btnDigg" onclick="btndigga();">

 <dt>顶</dt>
 <dd>0</dd>
 </dl>


 <dl class="digg digg_enable" id="btnBury" onclick="btnburya();">

 <dt>踩</dt>
 <dd>0</dd>
 </dl>

 </div>
 <div class="tracking-ad" data-mod="popu_222"><a href="javascript:void(0);" target="_blank"> </a> </div>
 <div class="tracking-ad" data-mod="popu_223"> <a href="javascript:void(0);" target="_blank"> </a></div>
 <script type="text/javascript">
 function btndigga() {
 $(".tracking-ad[data-mod='popu_222'] a").click();
 }
 function btnburya() {
 $(".tracking-ad[data-mod='popu_223'] a").click();
 }
 </script>

<ul class="article_next_prev">
 <li class="prev_article">上一篇<a onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_shangyipian'])" href="http://blog.csdn.net/wlmnzf/article/details/72676612">Typecho Nginx 404</a></li>
 <li class="next_article">下一篇<a onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_xiayipian'])" href="http://blog.csdn.net/wlmnzf/article/details/73660441">HEXO 搭建</a></li>
 </ul>

<div class="similar_article">
 <h4></h4>
 <div class="similar_c" style="margin:20px 0px 0px 0px">
 <div class="similar_c_t">
   相关文章推荐
 </div>

 <div class="similar_wrap tracking-ad" data-mod="popu_36">
 <ul class="similar_list fl">
 <li>
 •
 <a title="机器学习：回归梯度下降法" href="http://blog.csdn.net/helh522/article/details/42060629" target="_blank" strategy="BlogCommendFromCsdn">机器学习：回归梯度下降法</a>
 </li>
 <li>
 •
 <a title="机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)" href="http://jim8757.iteye.com/blog/2031502" target="_blank" strategy="BlogCommendFromCsdn">机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)</a>
 </li>
 <li>
 •
 <a title="【机器学习】逻辑回归算法与梯度下降法的理解和实现" href="http://blog.csdn.net/chentravelling/article/details/52105371" target="_blank" strategy="BlogCommendFromCsdn">【机器学习】逻辑回归算法与梯度下降法的理解和实现</a>
 </li>
 <li>
 •
 <a title="机器学习算法 ---- 梯度下降法" href="http://lps-683.iteye.com/blog/2273534" target="_blank" strategy="BlogCommendFromCsdn">机器学习算法 ---- 梯度下降法</a>
 </li>
 <li>
 •
 <a title="机器学习基础知识-回归与梯度下降法" href="http://blog.csdn.net/baidu_22502417/article/details/41328677" target="_blank" strategy="BlogCommendFromCsdn">机器学习基础知识-回归与梯度下降法</a>
 </li>
 </ul>
 <ul class="similar_list fr">
 <li>
 •
 <a title="机器学习入门系列一（关键词：单变量线性回归，梯度下降法）" href="http://blog.csdn.net/walegahaha/article/details/50435986" target="_blank" strategy="BlogCommendFromCsdn">机器学习入门系列一（关键词：单变量线性回归，梯度下降法）</a>
 </li>
 <li>
 •
 <a title="【转】数学在机器学习中的重要性" href="http://windshg.iteye.com/blog/1722253" target="_blank" strategy="BlogCommendFromCsdn">【转】数学在机器学习中的重要性</a>
 </li>
 <li>
 •
 <a title="机器学习之梯度下降法数学推导--分类" href="http://blog.csdn.net/wlmnzf/article/details/74116787" target="_blank" strategy="BlogCommendFromCsdn">机器学习之梯度下降法数学推导--分类</a>
 </li>
 <li>
 •
 <a title="机器学习之——回归(regression)、梯度下降(gradient descent)" href="http://kavy.iteye.com/blog/2264864" target="_blank" strategy="BlogCommendFromCsdn">机器学习之——回归(regression)、梯度下降(gradient descent)</a>
 </li>
 <li>
 •
 <a title="机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用 " href="http://yzyzero.iteye.com/blog/1944503" target="_blank" strategy="BlogCommendFromCsdn">机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用 </a>
 </li>
 </ul>
 </div>
 </div>
 </div>

</div>

阅读全文

0 0