2.9logistic回归中的梯度下降法

注明：

                                           

                                z 是指单个样本的情况

                                y^ 是指逻辑回归的输出

                                L是指损失函数

                                y 基本真值标鉴值

  

             我们求一下反向传播，就依次就得函数的导数：

             首先给出链式法则：   

                         我们看下图如何通过反向求导求得参数，w和b的值：

               过程比较繁琐，请大家耐得住寂寞听我缓缓道来：

            ，这个函数的展开式在前面已经给出，对变量a进行求导，

            可得到：

          

             ，对这个函数的z进行求导 ，求解过程如下：

             

          

           可得到：a(1-a)

          然后根据链式法则求得：

　　　　ｄｚ的值：ａ－ｙ

　　　　　

          

　　　　　　　下面我们求Ｌ对ｗ和ｂ的导数：

　　　　　ｄｌ／ｄｗ１＝＂ｄｗ１＂＝ｘ１＊ｄｚ

　　　　　　　　

　　　　　　　　　　ｄｌ／ｄｗ２＝＂ｄｗ２＂＝ｘ２＊ｄｚ

　　　　　　　

　　　　　然后：

　　　　　　

　　　　　更新ｗ１和ｗ２的值，完成一次迭代，对于上面的是式子我在下面的链接中讲的很清楚了。http://blog.csdn.net/u012429555/article/details/78004113

　　　　　这样就完成了一个单样本集合的训练，对于ｍ各样本的该是如何计算的?

 请看下图：

　　　　 不知道你能否看的明白？

                就是用一个for：1 to m循坏，然后将每次求得值加起来，然后除以m,然后求得最后参数，但是数据样本越大，for的表现越差，那么我们该如何解决了......?