机器学习笔记第3周

第 1 节课 Classification and Representation

线性回归算法不能用于分类问题（是否是垃圾邮件，肿瘤是否是恶性）

逻辑回归

S型函数（逻辑函数）：把hθ(x)的值化为0-1之间

如果hθ(x)=0.7，则认为y=1的概率是0.7

决策边界(decision boundary)

更复杂的决策边界：x1^2+x2^2>=1时y=1

第 2 节课 Logistic Regression Model 逻辑回归模型

cost function:

Cost()  y=1时  y=0时

Cost()的两个式子合并：

θ变换：

高级优化：

编程例子：

fminunc：Octave里的无约束最小化函数

‘GradObj’,'on'：设置梯度目标参数为打开，要给算法提供一个梯度

'MaxIter','100'：最大迭代次数为100

输出：

exitFlag=1表示已收敛

第 3 节课 Multiclass Classification 多类别分类

把n类别分类化为n个两类别分类

第 5 节课 Solving the Problem of Overfitting 解决过度拟合问题

欠拟合，合适和过拟合的两个例子（连续和离散）：

解决过拟合的方法：

1.减少属性的个数

2.正则化

正则化：

cost function :

其中λ是一个比较大的值，来限制θ（除了θ0）的影响力。但是如果λ过大，会欠拟合

正则化之后的梯度下降：

j=1....n，j=0时跟以前一样不变

其中是个接近于1的数，如0.99

正则化之后的正规方程：

逻辑回归的正则化：

cost function f(θ)=

梯度下降：

正则化的高级优化：