广义线性模型及softmax回归

        看了Andrew Ng 关于广义线性模型这内容的视频，对概念还是有点模糊，于是搜到这篇博文http://blog.csdn.net/lilyth_lilyth/article/details/10032993。只不过Andrew Ng的推导顺序和这篇文章是相反的，但还是同一个原理。下面我摘了这篇文章关于广义线性回归的内容。关于softmax的内容可以参考这篇文章http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92，softmax模型其实就是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签  可以取两个以上的值。

     以下是广义线性模型的内容：

         1）指数家族

      

       当固定T时，这个分布属于指数家族中的哪种分布就由a和b两个函数决定。下面这种是伯努利分布，对应于逻辑回归问题

                                   

          注：从上面可知 ，从而，在后面用GLM导logistic regression的时候会用到这个sigmoid函数。

        下面这种是高斯分布，对应于经典线性回归问题

                

     2）GLM（广义线性模型）

        指数家族的问题可以通过广义线性模型来解决。如何构建GLM呢？在给定x和参数后，y的条件概率p(y|x,θ) 需要满足下面三个假设：

        assum1)      y | x; θ ∼ ExponentialFamily(η).

        assum2)      h(x) = E[y|x]. 即给定x，目标是预测T(y)的期望，通常问题中T(y)=y

        assum3)       η = θTx，即η和x之间是线性的

       3）经典线性回归、逻辑回归

       经典线性回归：预测值y是连续的，假设给定x和参数，y的概率分布服从高斯分布（对应构建GLM的第一条假设）。由上面高斯分布和指数家族分布的对应关系可知，η=µ，根据构建GLM的第2、3条假设可将model表示成：

      
        

        逻辑回归：以二分类为例，预测值y是二值的{1,0}，假设给定x和参数，y的概率分布服从伯努利分布（对应构建GLM的第一条假设）。由上面高斯分布和指数家族分布的对应关系可知，，根据构建GLM的第2、3条假设可model表示成：

        

        可以从GLM这种角度理解为什么logistic regression的公式是这个形式。