【04】standford L04

来源：互联网发布：咫尺网络官网电脑端编辑：程序博客网时间：2024/05/22 16:23

L4 其他解法-牛顿方法-指数家族-GLM

1、Logistic Regression——Newton’s method

2、指数家族Exponential Family

3、广义线性模型 Generalized Linear Models

1Logistic Regression——Newton’s method

进一步了解Newton’s Method

P(y|x;θ)

y是实数时；用高斯分布——LMS（线性回归）
y=｛0,1｝二元分类，（0-1）分布，用Logistic Regression！那为什么要使用sigmoid函数呢？？
来看下面的【Generalized Linear Models (GLMs)】【Exponential Family】

2 【prepare】指数家族Exponential Family

Form

参数

η —— the natural parameter (thecanonical parameter);
T(y) —— the sufficient statistic(对于这里的分布，一般T(y)=y);
a(η) —— the log partition function（The quantity e^a(η) essentially plays the role of a nor-malization constant, that makes sure the distribution p(y;η) sums/integrates over y to 1）

0-1分布与高斯分布、

0-1分布(Bernoulli Distribution)

p(y= 1;φ) =φ;
p(y= 0;φ) = 1−φ.
As we varying φ, we obtain Bernoulli distributions with different means.（不同的φ，会使得分布的均值不一样，因为0-1分布的均值就是mean = φ）
【0-1分布(Bernoulli Distribution)】化为指数家族的形式：
高斯分布

其他分布

还有其他分布也属于指数家族（exponential family），如下：

The multinomial 多项式分布(which we’ll see later)
the Poisson 泊松分布(for modelling count-data; also see the problem set);
the gamma and the exponential (for modelling continuous, non-negative random variables, such as time-intervals);
the beta and the Dirichlet (for distributions over probabilities)

所以还要探讨更一般的形式（GLM），来构建模型，在模型中 y 来自于不同的这些不同分布。