程序博客网 > 大话设计模式java源码

机器学习笔记（VI）线性模型(II)多维最小二乘法

来源：互联网发布：大话设计模式java源码编辑：程序博客网时间：2024/06/05 16:29

数据集是

D = {(x 1, y 1), (x 2, y 2), \dots, (x m, y m)} 其 中 x i = (x i 1; x i 2; \dots; x i d), y i \in R

此时试图学得

f (x i) = w T x i + b, 使 得 f (x i) \approx y i

也称为多元线性回归
此时可以使用最小二乘法来对

w和

b进行估计
步骤：
1：将

w和

b吸入向量形式

w^=(w;b),
2：将数据集

D表示为一个

m×(d+1)大小的矩阵

X

X = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ x 11 x 21 ⋮ x m 1 x 12 x 22 ⋮ x m 2 \dots \dots ⋱ \dots x 1 d x 2 d ⋮ x m d 11 ⋮ 1 ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ x T 1 x T 2 ⋮ x T m 11 ⋮ 1 ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟

3:把标记写成向量形式

y = (y 1; y 2; \dots; y m)

于是类似一维形式

w^* = arg min w^(y - X w^) T (y - X w^)

4:令

Ew^=(y−Xw^)T(y−Xw^),对

w^进行求导

\partial E w ^ \partial w ^

展开

(y - X w^) T (y - X w^) = (y T - w^T X T) (y - X w^) = y T y - y T X w^- w^T X T y + w^T X T X w^(1)

如何对式

1进行化简

y T y - y T X w^- w^T X T y + w^T X T X w^↓ ↓ (y T y) - (y T X w^+ w^T X T y) + (w^T X T X w^)

一共有三个部分
第一个部分：

\partial y T y \partial w ^= 0

因为对

w^求导，

yTy相当于常数，因此求偏导的结果是0
第二个部分：
对于

y T X w^+ w^T X T y (2)

在这里

yTXw^和

w^TXTy都是

1×1的矩阵此时

y T X w^= (w^T X T y) T

对于

1×1的矩阵

A有

AT=A
因此对于式

(2)有

(2) = 2 (y T X w^)

于是

\partial y T X w ^ \partial w ^= ?

分开来看

y T = (y 1, y 2, \dots, y m); X = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ x 11 x 21 ⋮ x m 1 x 12 x 22 ⋮ x m 2 \dots \dots ⋱ \dots x 1 d x 2 d ⋮ x m d 11 ⋮ 1 ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟; w^= (w 1; w 2; \dots; w d; b);

相乘的结果

y T X = (\sum i = 1 m x i 1 y i, \sum i = 1 m x i 2 y i \dots, \sum i = 1 m x i d y i, \sum i = 1 m y i) (part1)

(p a r t 1) w^= (\sum i = 1 m x i 1 y i, \sum i = 1 m x i 2 y i \dots, \sum i = 1 m x i d y i, \sum i = 1 m y i) \times (w 1; w 2; \dots; w d; b) = \sum j = 1 d \sum i = 1 m x i j y i w j + b \sum i = 1 m y i (part1sum)

求导

\partial p a r t 1 s u m \partial w ^= ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ \partial p a r t 1 s u m \partial w 1 \partial p a r t 1 s u m \partial w 2 ⋮ \partial p a r t 1 s u m \partial w d \partial p a r t 1 s u m \partial b ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ \sum i = 1 m x i 1 y i \sum i = 1 m x i 2 y i ⋮ \sum i = 1 m x i d y i \sum i = 1 m y i ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟

结果是一个

(d+1)×1的矩阵也就是列向量
而

X T y = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ x 11 x 12 ⋮ x 1 d 1 x 21 x 22 ⋮ x 2 d 1 \dots \dots ⋱ \dots \dots x m 1 x m 2 ⋮ x m d 1 ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ \times ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ y 1 y 2 ⋮ y m ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ \sum i = 1 m x i 1 y i \sum i = 1 m x i 2 y i ⋮ \sum i = 1 m x i d y i \sum i = 1 m y i ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = \partial p a r t 1 s u m \partial w ^

同样的方法可以得到

\partial ( w ^ T X T X w ^ ) \partial w ^= 2 X T X w^

于是得到最终结果

\partial E w ^ w ^= 2 X T (X w^- y)

5:令求导结果等于0

\partial E w ^ w ^= 2 X T (X w^- y) X T X w^= 0 = X T y

此时如果有解则：

XTX必须是可逆矩阵
所以得到：

w^* = (X T X) - 1 X T y

因为我们试图学得

f (x i) = w T x i + b, 使 得 f (x i) \approx y i

但是我们在前面做出了一些调整：将

w和

b吸入向量形式

w^=(w;b),
此时可以令

x^i=(xi;1)可以得到学得的模型是

f (x i) = (w; b) T (x i; 1) \to f (x^i) = w^T x^i

然后将

w^∗代入
得到：

f (x^i) = ((X T X) - 1 X T y) T x^i ⇕ f (x^i) = x^T i (X T X) - 1 X T y

阅读全文

0 0

大话设计模式java源码

大话设计模式java源码

原创粉丝点击

热门问题 老师的惩罚人脸识别我在镇武司摸鱼那些年重生之率土为王我在大康的咸鱼生活盘龙之生命进化天生仙种凡人之先天五行春回大明朝姑娘不必设防，我是瞎子绿盾防雾霾口罩绿盾芦荟尿素霜绿盾信息安全管理软件天锐绿盾防雾口罩 11315 绿眼白色猫绿眼膜钻石绿钻2代多少钱钻石绿钻软盒多少钱祖母绿原石绿幽灵原石钻石绿石2代多少钱绿石烟 6901028250757 钻石2代多少钱一包钻石二代多少钱一包绿矾的化学式绿矾是盐吗绿矾的功效与作用绿矾是什么虫声新透绿窗纱上一句我是来找儿子的绿窗的雾绿竹绿竹怎么养绿竹图片绿笋图片绿螺绿航绿萝的养殖方法绿箩的养殖方法和注意事项绿箩烂根是什么原因绿箩能吸收甲醛吗绿箩除甲醛有用吗绿箩可以晒太阳吗绿箩能晒太阳吗绿箩简笔画绿箩叶子发黑是什么原因绿箩可以吸甲醛吗绿箩除甲醛绿箩图片绿箩养殖方法