优达(Udacity)-机器学习基础-异常值
来源:互联网 发布:淘宝上的汽车尾灯总成 编辑:程序博客网 时间:2024/05/17 08:10
回归中的异常值
选出下面的最好的线性回归(考虑到异常值,并假设线性回归将最小平方误差减到最低)
答案:
这一条线会获得最小的平方误差,可以看到异常值对预测的影响是很大的。
产生异常的原因
- 第三种情况是不会考虑的
- 前两种情况是应该被忽略的异常值
- 最后一点是应该被重视的异常值(如金融诈骗)
选择异常值
第二行第一个存在争议= =其实我认为他不属于异常值
但是老师说,这里可能是双重错误——标签分类也错了
异常值检测-删除算法
训练
异常值检测——删除算法
训练 删除约10%的异常数据 再次训练
(可能需要重复2、3步骤多次)
- 删除前:
- 删除后:
异常值删除策略小结
这里还是要注意有的地方是要保留异常值,去除正常的数据的。
异常值迷你项目
用到的代码知识点
- numpy.reshape()
可以改变数组的结构
比如:把一维的数组转换为二维的数组
import numpy as npa=np.array([1,2,3,4,5,6,7,8])d=a.reshape((2,4))#转换为三维的数组f=a.reshape((2,2,2))
通过reshape生成的新数组和原始数组公用一个内存,也就是说,假如更改一个数组的元素,另一个数组也将发生改变。
形状变化的原则是数组元素不能发生改变,比如这样写就是错误的,因为数组元素发生了变化。
numpy.array()
numpy官方文档链接:
https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.array.html
阅读全文
0 0
- 优达(Udacity)-机器学习基础-异常值
- 优达(Udacity)-机器学习基础-回归
- 优达(Udacity)-机器学习基础-交叉验证
- 优达(Udacity)-机器学习基础-评估指标
- 优达(Udacity)-机器学习基础-误差原因
- 优达(Udacity)-机器学习基础-数据集与问题(安然数据集)
- Udacity-机器学习入门-聚类
- 机器学习,模型评估(udacity nanodegree 1-3总结)
- Udacity机器学习入门-主成分分析(PCA)
- Udacity机器学习(进阶)P3用到的函数笔记
- Udacity-机器学习入门-特征缩放
- 优达(Udacity)finding_donors
- 优达(Udacity)customer_segments
- 优达(Udacity)smartcab
- Udacity机器学习入门笔记——支持向量机(SVM)
- Udacity机器学习入门笔记——决策树(Decision Tree)
- Udacity机器学习(进阶)——朴素贝叶斯迷你项目2
- Udacity机器学习(进阶)——朴素贝叶斯迷你项目2
- 线程安全的 SimpleDateFormat
- 小公司程序员怎么进大公司
- mysql数据库函数
- 解决cocoapods diff: /../Podfile.lock: No such file or directory
- 解决SettingsProvider中的值读写不同步的问题
- 优达(Udacity)-机器学习基础-异常值
- Jamie Dimon回来了!摩根大通考虑比特币期货
- 马来西亚央行规划加密货币报告规定
- C++的由来
- Python中国在字符串前面加u,r,b的含义
- 笔记 20个常用正则表达式
- 深脑链解决人工智能全行业痛点的公链
- JVM三(2):jstat使用方法
- android多线程性能调优