机器学习-广义线性模型GLM

广义线性模型的公式：

在学习广义线性模型的时候，会有这样的疑问，为什么我们要把逻辑回归，高斯分布模型都转化成广义线性模型，再来计算似然值呢？
我目前的理解是：不是说要转化成广义线性模型，而是他们是特殊的广义线性模型
比如，在逻辑回归中，我们对logistic function的定义，觉得莫名其妙，但是在广义线性模型中，我们能够看到如下

可以得出

以上是我们对广义模型的介绍。

在这里有一个颇让我费心思的是假设2是什么意义，到目前算是自己的小小领悟。
无论是在高斯分布，还是伯努利方程里，我们都要通过概率密度函数，把时间发生可能性表示出来，这个时候我们就需要参数，u或者是p，我么可以发现，这些参数不就是假设2里的提到的期望吗？

接下来我们分别对 几种典型模型 进行广义线性模型化。找出他们的 T A B，eta分别是什么，其实转化成 广义线性模型，其实就是在找这四个值

伯努利模型：

高斯模型对应GLM
我们在这里假设方差为1，因为我们在高斯模型算似然函数的时候，发现方差是不影响我们theta的取值，那么eta和theta之间又是线性对应关系，所以当然也不会影响eta的取值，也就是说，我们在广义模型中，就是要找最大似然的eta，而这个eta又与方差无关系,所以就让方差等于1，来方便计算

在高斯模型中，我们可以发现

以上是把高斯模型与伯努利模型转化为GLM的例子，而我们把所得到的参数代回原来的公式，就变成了我们 高斯模型与 逻辑回归模型了。

GLM总结
现在我们来考虑的问题是，广义模型是干嘛的？
我们用一个流程图来表示：

所以广义模型最终解决的是 怎么用x的线性关系来表示各种模型（指数分布族）的概率的问题。

有了上面的理解之后，我们看看稍微复杂点的模型，
Softmax Regression

Softmax Rgression 解决的是多个分类的问题，其实就是多项式分布的问题，相当于逻辑回归的升级版。
唉，前奏太多，直接拷贝！！！

看到这里面有一个疑问就是 为什么我们要保证参数的独立性质？

其原因其实在后面我们能够看到，因为我们用了这个公式：

这个不就是P(AB) = P(A)P(B)在A,B独立情况下的公式吗？

接下来我们就开始把多项式转化成GLM（对照着上面的流程图来）

接下来就是把参数用eta表示出来

所有的工作都做好了，那就是代入到原方程，求似然，可以用随机梯度上升，或者是牛顿法。

在这里我们要注意的是
我们的h(x)是一个向量，我们的theta是一个矩阵。

在这里我的理解就是 构成了要对整个矩阵求导。