极大似然估计法

极大似然估计法是一种参数估计方法，即‘模型已知，参数未知’，再机器学习中，逻辑斯蒂回归和朴素贝特斯中都可用极大似然估计法来估计参数。下面先解释极大似然估计法，在总结其在logistic regression中的应用。

原理：一次实验中就出现的事件（应该）有较大概率，这是很多地方的流行解释，换种说法，有一个事件A，为简单起见，我们假设其会发生的事件类别有2种，并且这2种事件类别需是独立同分布的，接着再一次试验中，我们获得了样本G=(y1,y2,y1,y1,y1,y1,y2)，我们现在想知道y1发生的概率p，y2发生的概率就是1-p，极大似然估计就是帮我们找到这样一个p，它会让这个样本G发生的概率最大

计算过程：构造似然函数，两边取对数，对未知参数求导数，找到其驻点作为估计参数

logistic regression是liner regression的进化版本，他使线性回归可以用来做分类问题，线性回归中我们的模型是 w*x+b,w向量就是我们要求的未知参数，这个模型的值是连续的，无法用来预测，为此我们引入逻辑斯蒂分布，其分布函数是F(x) = 1/1+e^-(x-u)/y,u,y分别为位置和形状参数，将线性回归的值带入分布函数，将其转换为概率，即p = exp(w*x+b)/(1+exp(w*x+b)),之所以可以这么转换，是因为x是p的线性函数，也就是说x越大p越大，发生的概率就越大，越偏向于该类别，假设对于2分类问题，我们就可以对训练数据集使用极大似然估计来对w，b进行参数估计，当然再找驻点时候我们需要使用优化算法，比如梯度下降算法，来找到驻点。