周志华《机器学习》读书笔记（2）

第三章 线性模型

1. 给定由d个属性描述的示例 x=(x1;x2;...;xd)，其中xi是x在第i个属性上的取值。线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即

   f(x)=w1x1+w2x2+...+wdxd+b
   
   一般用向量形式写成
   f(x)=wTx+b
   
   其中w=(w1;w2;...;wd)，w和b学得之后，模型就得以确定。

   线性模型有很好得解析性，例如在西瓜问题中学得f好瓜(x)=0.2⋅x色泽+0.5⋅x根蒂+0.3⋅x敲声+1，则意味着可通过综合考虑色泽、根蒂和敲声来判断瓜好不好，其中根蒂最重要，而敲声比色泽更重要。

2. 线性回归。
   

   • 给定数据集D={(x1,y1),(x2,y2),(x3,y3),...,(xm,ym)}，其中xi=(xi1;xi2;xi3;...;xid)，yi∈R，线性回归试图学得一个线性模型以尽可能准确的预测实值输出标记。
   • 我们考虑一种最简单的标记：输入属性的数目只有一个。此时我们忽略关于属性的下标，即D={xi,yi}mi=1。
   • 对离散属性，如果属性间存在“序”（order）关系，可通过连续化将其转化为连续值，例如身高中的“高”、“矮”，可转化为{1.0,0.0}。三值属性“高度”的取值“高”、“中”、“低”。可转化为k维向量，例如属性“瓜类”中的取值“西瓜”、“南瓜”“黄瓜”可转化为(0,0,1),(0,1,0),(1,0,0)
     

   若将无序属性连续化，则会不恰当的引入序关系，对后续处理如距离计算等造成误导。

3. 线性回归试图学得
   f(xi)=wxi+b
   ，使得
   f(xi)≃yi

4. (w∗,b∗)=argmin(w,b)∑i=1m(f(xi)−yi)2=argmin(w,b)∑i=1m(yi−wxi−b)2