[UFLDL-1] 监督学习和优化

线性回归

问题简介　

http://ufldl.stanford.edu/tutorial/supervised/LinearRegression/

作为一个回顾，我们将学习怎样实现线性回归。主要的目的是学习目标函数，计算它们的梯度并且在参数集上优化。这些基本的工具之后将成为更加复杂算法的基础。读者希望了解更多细节可以参考讲义上面的监督学习。

在线性回归中我们的目标是从输入向量x∈Rn中预测目标值y。举个例子，我们可能对房子价格做预测，y 就代表房子的价格。x中的元素xj代表房子的特征（比如他的大小和卧室的数码）。假定我们有很多房子的样例，第i个房子的特征表示为x(i),它的价格是y(i)。为了简便，我们的目标是为了找到一个函数y=h(x)，所以对于每一个训练样例我们有y(i)≈h(x(i)).如果我们成果找到了h(x)这样的函数，同时我们看到了足够多的房子和它们的价格。我们希望这样的函数h(x)对于一个新给定的不知道价格的房子的特征，也能对房子的价格有好的预测。

为了找到使得y(i)≈h(x(i))的函数h(x)我们必须决定如何表达函数h(x).要开始了，我们使用线性函数hθ(x)=∑jθjxj=θ⊤x.这里hθ(x)表示由θ参数化的一个很大的簇函数 （我们把这个函数空间称为“假设类”）.通过这样的h的表示，我们的任务是找到一个θ使得hθ(xi)尽可能的靠近y(i).特别的，我们搜索θ来最小化J(θ):

J(θ)=12∑i(hθ(x(i))−y(i))2=12∑i(θ⊤x(i)−y(i))2

这个函数是损失函数，我们的问题是度量一个选定的θ在预测y(i)时导致了多少的误差。这也称为损失，惩罚或者目标函数。

函数最小化

我们现在希望找到一个θ使得给定的J(θ)最小化。有许多的优化算法来最小化这个函数。我们介绍一些非常有效而且容易自己实现的梯度下降算法。现在，让我理所当然的接受这个事实大多数使用的最小化函数算法都需要我们提供2部分的信息：我们需要用代码计算J(θ)和∇θJ(θ).在这之后我们剩下的优化处理就是找到最好的θ来处理我们的优化算法（把梯度看作不同的目标函数，在梯度方向上增长最快，所以很容易明白优化算法怎样使用较小的θ来减少（或者增加）J(θ)）。

上的J(θ)在给定训练集后很容易在matlab上实现。需要计算的梯度是：

∇θJ(θ)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂J(θ)∂θ1∂J(θ)∂θ2⋮∂J(θ)∂θn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

微分函数表示如下：

∂J(θ)∂θj=∑ix(i)j(hθ(x(i))−y(i))

逻辑回归

http://ufldl.stanford.edu/tutorial/supervised/LogisticRegression/

前面我们学习了如何通过输入值的线性函数（比如，房子的大小）来预测连续的数值(比如，房子价格)。有些时候我们希望预测离散的变量例如预测一个灰度值表示的是数字0或者1.这是一个分类问题。逻辑回归是学习做这样决策的简单分类算法。

在线性回归中我们试图使用线性函数y=hθ(x)=θT(x)预测第i个样例x(x)输出值y(i)。这很明显对于一个二分类预测不是一个好的解决方案。在逻辑回归中，我们使用不同的假设类，我们试图预测一个样例属于属于1的概率与属于0的概率。特别的，我们试图学习下面的函数：

P(y=1|x)P(y=0|x)=hθ(x)=11+exp(−θ⊤x)≡σ(θ⊤x),=1−P(y=1|x)=1−hθ(x).

函数 σ(z)≡11+exp(−z) 经常被称为sigmoid或者logistic函数。它是一个S型的函数，压缩 θTx 的值到[0,1],所以我们把hθ(x)看作一个概率。我们的目标是搜索一个θ值使得x属于类别1的概率P(y=1|x)=hθ(x)大于x属于类别0的概率。对于二分类的训练集我们有下面的损失函数：

J(θ)=−∑i(y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))))

需要注意的是上面求和的部分只有1个不为0（这取决于标签是否为0）。 当yi=1最小化损失函数等价于最大化hθ(xi),当yi=0时我们使得1−hθ最大 。全面的逻辑回归解释以及损失函数的推导，在CS229监督学习笔记里面。

我们现在有了一个损失函数来度量一个假设到底拟合训练数据到怎样程度。我们可以找到使得J(θ)最小的最好的一个θ来分类训练数据。一但找到了这样的函数，我们能够对一个新的数据进行分类（0、1）:如果 P(y=1|x)>P(y=0|x) 分为类别1，否则类别0.这也等同于检查是否 hθ(x)>0.5

为了最小化 J(θ) 我们使用和线性回归相同的工具。我们需要计算 J(θ) 和 ∇θJ(θ) ：

∂J(θ)∂θj=∑ix(i)j(hθ(x(i))−y(i)).

向量表示形式：

∇θJ(θ)=∑ix(i)(hθ(x(i))−y(i))