机器学习八 异常值
来源:互联网 发布:淘宝详情页价格 编辑:程序博客网 时间:2024/06/15 15:28
异常值(Outliers)
定义:指样本中的个别值,其数值明显偏离它(或他们)所属样本的其余观测值,也称异常数据,离群值。
产生异常值的因素:
1、传感器故障所引起的值,通常为零,这些零都是异常值;
2、手动录入值引起的错误;
3、反常事件所产生的值(即你认为不可能发生的情况)。
异常值检测/删除算法:
步骤一:训练数据集;
步骤二:去掉最大误差的点,一般也叫残差;
步骤三:对剩下的数据进行再训练。
以上操作有时候需要循环操作。
备注:一般情况下,去除所有数据点的10%。
去除10%数据的代码参考(引用代码):
cleaned_data = [] import operator errors = [a-b for a,b in zip(predictions,net_worths)] data = zip(ages,net_worths,errors) data.sort(key = operator.itemgetter(2)) cleaned_data = data[:int(len(predictions)*0.9)]
阅读全文
0 0
- 机器学习八 异常值
- 机器学习(八):AnomalyDetection异常检测_Python
- 机器学习(八):AnomalyDetection异常检测_Python
- 机器学习笔记八
- 机器学习练习(八)—— 异常检测与推荐
- 机器学习笔记:线性回归,异常值
- 优达机器学习:异常值
- 斯坦福机器学习笔记八
- 机器学习(八)- Overfitting
- 机器学习系列笔记(八)
- 机器学习(八)Apriori算法学习
- 机器学习(八)Apriori算法学习
- 机器学习笔记(八)集成学习
- 机器学习之异常检测
- 机器学习算法~异常检测
- 白话机器学习算法(八)MDS
- 白话机器学习算法(八)MDS
- 机器学习算法(八):EM算法
- POJ推荐50题
- 背景色渐变总结
- Qt下载地址
- 写给编程初学者
- HTML5中Web Storage本地存储
- 机器学习八 异常值
- JAVA system.exit
- C语言模拟实现C++的继承多态
- 树莓派3b配置opencv2.4.10
- 插入排序及优化
- get和post的区别
- Android源码内核设计思想读书笔记
- 读书笔记18 《麦肯锡工作法》 大岛祥誉
- bzoj 2144: 跳跳棋