线性模型
来源:互联网 发布:东风153抢险救援车数据 编辑:程序博客网 时间:2024/05/16 05:52
最近,准备将机器学习再重新捋一遍,为了加强自己的记忆,将看到的内容重新总结记录。学习材料为 周志华 《机器学习》。
机器学习:
1 线性模型
1.1线性回归
1.2对数几率回归
1.3线性判别分析
1.4多分类学习
1.5类别不平衡问题
2 决策树
3 神经网络
4 支持向量机
5 贝叶斯分类器
6 集成学习
7 聚类
1 线性模型
给定一个含有个属性描述的示例,线性回归试图学得一个通过属性的线性组合来进行预测的函数,即
一般用向量表示为:
1.1 线性回归
在写线性回归之前,先写一下我之前的一个疑问(蠢蠢的问题),以便和我一样有此疑惑的童鞋进行参考。
问题:回归和分类有什么区别?
答:回归输出的为实值,例如利用线性回归预测房价,预测考试分数等;而分类输出为离散值,例如利用分类估计房价是高还是低,考试分数及格还是不及格。
言归正传,介绍线性回归~~~~~~
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~我是分割线~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
目的:
给定数据集,其中每个含有d个属性。线性回归(linear regression)试图学得一个线性模型以尽可能准确地预测实值输出标记。即试图学得:,使得
方法:
令=, ,则采用均方误差(回归任务中最常用的性能度量),,此时的中包含了bias(偏差量),我们的目标是训练得到一个,使得均方误差最小。利用数学上的知识,令则可得到的最优闭式解。此解的情况相对比较复杂,我们做一下简单的讨论:
1)当为满秩矩阵(full-rank matrix)或正定矩阵(positive definite matrix)时,可得:,则最终得到的线性模型为,其中。
2)当不满足条件1)时,例如在许多任务中会遇到大量的变量,其数目甚至超过样例数,导致的列数显然多于行数,显然不满秩,此时可解出多了,而选择哪一个解,将由学习算法的归纳偏好决定,常见的做法是引入正则化(regularization)项。
变形:
线性模型虽然简单,但有着丰富的变形。当我们希望预测值逼近真实标记时,则有线性回归模型。为便于观察,我们把线性回归模型简写为:那我们也可以令预测值逼近真实标记的衍生物。例如,我们令输出的预测值逼近,则有对数线性回归(log-linear
regression),即:
(1.1)
他实际上是让逼近,虽然式(1.1)在形式是线性的,但实际上已是在求取输入空间到输出空间的非线性映射了。
更一般的,考虑单调可微函数,令:
这样的模型为广义线性模型(generalized linear model),函数成为联系函数(link function)。
阅读全文
0 0
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- 一般线性模型、混合线性模型、广义线性模型
- 线性模型小结
- 线性模型(1)
- 广义线性模型
- VM虚拟机装centos7无法自动获取IP的解决方法
- 调用融云SDK创建讨论组失败bug记录
- 集体照 字符串处理
- 使用cocoaPods import导入时没有提示的解决办法
- 火狐浏览器下 返回顶部功能bug
- 线性模型
- NIO入门
- sqlserver数据库中如果对数值型的字段进行小数点保留两位,如果是小于1的数,前面的0消失解决方案
- [Leetcode-53]Maximum Subarray 最大子数组和
- (hdu 1698) Just a Hook(区间更新)
- js如何判断QQ号码是否输入正确?
- 切片上传视频
- php 断点视频上传
- scala中的io使用