线性回归之向量化 linear regression -- vectorization

来源：互联网发布：手游编程软件编辑：程序博客网时间：2024/05/24 06:44

线性回归之向量化 linear regression -- vectorization

在线性回归中，通过梯度下降不停的迭代以缩小代价函数 $J(\theta )$ 的值,来拟合出一个效果较好的模型。其中:数据集为m个样本，n个特征。

$\begin{array}{lcl} J(\theta _{0},\theta _{1},\theta _{2},,...,\theta _{n})&=&\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)}) - y^{(i)})^{2} \\ & = & \frac{1}{2m}\sum_{i=1}^{m}((\sum_{j=0}^{n}\theta _{j}x_{j}^{(i)}) - y^{(i)})^{2} \end{array}$

$h_{\theta }(x^{(i)}) = \theta _{0}+ \theta _{1}x_{1}^{(i)}+\theta _{2}x_{2}^{(i)}+...+\theta _{n}x_{n}^{(i)}$ 。

先看 $h_{\theta }(x)$ ，在matlab / octave中，我们完全可以把它转化为矩阵运算，而不用使用for循环去解决。因此：对于m个样本n个特征的数据集来说：

因此:

$h_{\theta}(x) - y = \begin{bmatrix} 1 & x_{1}^{(1)} & ...& x_{n}^{(1)}& \\ 1 & x_{1}^{(2)}& ...& x_{n}^{(2)}& \\ . & .& .& .& \\ . &.& .& .& \\ . & .& .& .& \\ 1 & x_{1}^{(m)} & ...& x_{n}^{(m)}& \end{bmatrix} \cdot \begin{bmatrix} \theta _{0}\\ \theta _{1}\\ .\\ .\\ .\\ \theta _{n} \end{bmatrix} -\begin{bmatrix} y_{1}\\ y_{2}\\ .\\ .\\ .\\ y_{m} \end{bmatrix} =X\cdot \theta -y$

所以， $J(\theta) = \frac{1}{2m}SUM((X\cdot \theta - y).\wedge 2)$ 。这样在matlab/octave中就可以很方便的利用矩阵运算来求解 $J(\theta)$ 。

再来看梯度下降，求解 $\theta$ 。

$\left.\begin{matrix} \theta _{0} = \theta _{0} - \alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x_{0}^{(i)}\\ \theta _{1} = \theta _{1} - \alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x_{1}^{(i)}\\ ...........................................................\\ ...........................................................\\ \theta _{n} = \theta _{n} - \alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x_{n}^{(i)}\\ \end{matrix}\right\}$

注意： $\theta$ 要同时更新。上述公式也可以向量化： $\theta = \theta -\alpha \delta$ ，其中：

$\theta =\begin{bmatrix} \theta _{0}\\ \theta _{1}\\ .\\ .\\ .\\ \theta _{n} \end{bmatrix}$ $\delta = \begin{bmatrix} \frac{1}{m}\sum_{i=1}^{m}(h_{\theta }(x^{(i)}) - y^{(i)})x_{0}^{(i)}\\ \frac{1}{m}\sum_{i=1}^{m}(h_{\theta }(x^{(i)}) - y^{(i)})x_{1}^{(i)}\\ ...................\\ ...................\\ ...................\\ \frac{1}{m}\sum_{i=1}^{m}(h_{\theta }(x^{(i)}) - y^{(i)})x_{n}^{(i)} \end{bmatrix}$

再看矩阵 $\delta$ 里的元素又可以写成矩阵相乘的形式：

$\delta = \frac{1}{m}\begin{bmatrix} 1 & 1& .& .& .& 1\\ x_{1}^{(1)}& x_{1}^{(2)}& .& .& .& x_{1}^{(m)}\\ x_{2}^{(1)} & x_{2}^{(2)}& .& .& .& x_{2}^{(m)}\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ x_{n}^{(1)} & x_{n}^{(2)}& .& .& .& x_{n}^{(m)} \end{bmatrix} \cdot (X\cdot \theta -y) =\frac{1}{m}X^{T}\cdot (X\cdot \theta -y)$

因此 $\theta = \theta - \frac{1}{m}X^{T}\cdot (X\cdot \theta - y)$ 。然后设置学习率 $\alpha$ 和迭代次数就可以求出最优参数 $\theta$ 。

0 0