Andrew Ng机器学习(ML)入门学习笔记(一)
来源:互联网 发布:马东为什么离婚知乎 编辑:程序博客网 时间:2024/05/17 07:57
一.机器学习的定义(Definition)
定义:是一门在不需要很明显很复杂的计算机编程的情况下让计算机具有学习能力的学科。
更现代化的定义:给计算机程序提供一个任务T和一种性能测量方法P,在经验E的影响下测量方法P对任务T的测量结果得到了改进。(该程序从E中学习)
二.机器学习的种类(Type)
(1)监督学习:用于训练的数据提供了一组“标准答案”。
监督学习又可细分为①回归问题(regression)②分类问题(classification)
①回归问题:需要预测的变量是连续的(consecutive)
例:采集一组房屋面积和对应价格的数据,预测要买一套指定面积的房屋需要多少钱。这里的标准答案指的是给出了采集的那组数据中房屋面积对应的价格,要预测的变量即房屋的价格是连续的,故属于监督学习中的回归问题。
②分类问题:需要预测的变量是离散的(discrete)
例:给定一组肿瘤大小和对应性质(良性/恶性)的数据,预测一特性大小的肿瘤是良性还是恶性。标准答案指的是训练数据给出了肿瘤大小对应的性质,要预测的变量即肿瘤的性质要不为良性,否则就为恶性(只有0/1这种二值选择),是离散变量,股属于监督学习中的分类问题。
(2)无监督学习:与监督学习相反,没有提供“标准答案”,预测结果无反馈,也称为聚类问题(clustering)。
例:网页将每天发生的各类新闻分类,相似的新闻会归到一类;多话者同时说话的情况下,将语音按照不同的说话人分开提取。另:associative memory也是一种非监督学习。如医生根据以往相似病人联想出现在的病人可能患有的疾病。
三.单变量线性回归(Univariate linear regression)
以房价预测问题为例,首先给出一些符号说明:
①假设函数(hypothesis function)
房屋面积
假设函数是变量
对于单变量的线性回归,假设函数为
②代价函数(cost function)
有了假设函数,接下来的问题就是如何选择
以一种均方差的形式去评估这种接近程度,即
定义代价函数
其中
即,我们的目标就是
一种简化的形式是假设
例如,给定的三组训练数据,我们可以在
分别计算代价函数
可以很明显地看出
四.梯度下降(Gradient descent)
梯度下降可用来最小化代价函数,除了最小化单变量线性回归的代价函数,还可用于最小化更一般的代价函数,即
仍以单变量线性回归为例,该过程主要有以下两点:
①给
②不断更新
更数学化的表达,即,重复直到收敛:
其中
需要注意的是,这里是同时更新
假设分别以
①
②
简而言之,就是不能将此次已经更新过的
那梯度下降为什么能够实现最小化代价函数呢?为了简化分析,仍假设
由于该点
由于该点
再来看学习率
但如果
有趣的是,我们并不需要改变
将梯度下降用于最小化方差代价函数,因为代价函数
由梯度下降的数学表达
重复直到收敛{
}
同理这里也务必是同时更新,其中
前面为了简化表达,让
同理,这些点构成的曲面也有局部最小点和全局最小点之分,梯度下降的意义就是从曲面上任意一点一步步走到局部最小或全剧最小。
代价函数
以上数据多可在二维或三维空间中表示出来,当所需学习的特性越来越多时,扩展到多维甚至无限维,该如何表示?支持向量机(SVM)可解决此类问题,SVM可以把数据映射到无限维。
- Andrew Ng机器学习(ML)入门学习笔记(一)
- Andrew Ng机器学习(ML)入门学习笔记(二)
- Andrew Ng机器学习(ML)入门学习笔记(三)
- Andrew Ng 机器学习笔记(一)
- Andrew Ng机器学习笔记(一)
- Andrew Ng机器学习入门学习笔记(四)之神经网络(一)
- Andrew Ng机器学习笔记(一):梯度下降法
- Andrew NG 机器学习课程笔记(一)
- Andrew Ng机器学习课程笔记(一)
- Andrew Ng 机器学习笔记(二)
- Andrew Ng 机器学习笔记(三)
- Andrew Ng 机器学习笔记(四)
- Andrew Ng 机器学习笔记(五)
- Andrew Ng 机器学习笔记(六)
- Andrew Ng 机器学习笔记(七)
- Andrew Ng 机器学习笔记(八)
- Andrew Ng机器学习笔记(二)
- Andrew Ng机器学习笔记(三)
- UE4 C++使用Multi Theard的教程
- myeclipse添加jre
- 最全的ORACLE-SQL笔记
- startActivity startActivityForResult
- JAVA Playing a TicTacToe game
- Andrew Ng机器学习(ML)入门学习笔记(一)
- 总结一下vc6.0,vs2010,vs2013的软件助手Visual Assist及行显示插件,项目文件打开插件
- struts实现简单的文件上传与下载
- 数组查重
- 大数据哈哈入门
- BZOJ1034泡泡堂BNB
- 原数据库系统学习一
- 在linux CentOS6上安装web环境
- 看完了linux书第二章后,关于内存寻址的一点总结