机器学习 第五天 17/03/31

今天下载好了相应版本的octave。主要学习内容为多元线性回归，

首先定义多元线性回归中的部分概念。
x(i)j是第i组训练样本的第j个特征值
x(i)是第i组训练样本对应的所有特征值
n是一组训练样本中特征值的数量,即|x(i)|
目标函数为

hθ=θ0+θ1x1+θ2x2+⋯+θnxn

目标函数的向量形式为(其中x0=1)

hθ(x)=[θ0θ1...θn]⎡⎣⎢⎢⎢⎢x0x1⋮xn⎤⎦⎥⎥⎥⎥=θTx

即hθ(X)=θTX

多元线性回归的梯度下降法
}repeat until convergence:{θ0:=θ0−α1m∑i=1m(hθ(x(i))−y(i))⋅x(i)0θ1:=θ1−α1m∑i=1m(hθ(x(i))−y(i))⋅x(i)1θ2:=θ2−α1m∑i=1m(hθ(x(i))−y(i))⋅x(i)2⋯
简而言之
}repeat until convergence:{θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))⋅x(i)jfor j := 0...n

然后介绍一个技巧，在梯度下降过程中如果各个特征值的范围差距过大，比较影响该算法求解效率，因此可以采取特征缩放的方式，将过小或者过大的特征值进行处理，大小合适即可，大约区间范围在1到6之间比较合适。
对特征值处理xi:=xi−uisi
ui为平均值，si为极差，最大值减去最小值。
该方法的处理方式多样，并不唯一。