机器学习深入与强化--回归分析与工程应用
来源:互联网 发布:mac怎么剪切文件夹 编辑:程序博客网 时间:2024/05/16 10:53
线性回归与逻辑回归
主要是三个概念:损失函数、梯度下降、过拟合与正则化
1、线性回归——连续值变量的预测
学习率太小,收敛很慢;学习率太大,可能会震荡。
过拟合:参数过多,导致失去一般性
解决过拟合的评价问题,对损失函数进行正则化:损失函数不仅考虑预测值与真实值的误差,还考虑到参数θ
(过拟合时,因为曲线会尽可能多的穿过所有的点,使得曲线弯弯曲曲,十分不平滑,会导致参数θ相对比较大,这样才能扭转之前的曲线运动趋势,保证曲线穿过所有不规则分布的点)
逻辑斯特回归:用于分类
线性回归+阈值:用于分类,鲁棒性不够,受噪声影响太大
既然不能用绝对的值进行分类划分,就使用一个相对的值,这个值就是概率。所以将回归预测到的值映射到0-1,表示概率。
sigmod函数可以将任何连续的值映射到0-1之间,综上,逻辑回归就是在找一条判定边界
损失函数:线性回归的损失函数不能用于逻辑斯特回归,否则它损失函数曲线是不光滑的,是跳变的曲线,是非凸函数,不能使用深度下降法找到全局最小值。
损失函数首先希望它是凸函数,如果是一个正样本,如果你强制把它判成负样本,也就是预测的正样本的概率很小,这是它的损失函数就是一个很大的正数损失。这就是互熵损失。
LR分类是很基础的一个算法,之后还会学到SVM、GBDT和RandomForest,至于哪个最好,算法很难比较好与坏
一般工业界认为,最简单的东西,如果有效果是最可靠的,因为复杂的东西难以把握。
上图第三点,假如区分容易受照顾的人,那么将年龄离散化,发现老人小孩都需要照顾,从而带来一定非线性
最后一点,因为离散化之后,均变为了0和1,这样就减少了很多的波动点,可以避免过拟合。
阅读全文
0 0
- 机器学习深入与强化--回归分析与工程应用
- 机器学习深入与强化--特征工程
- 七月机器学习之回归分析与工程应用5
- 机器学习深入与强化--概念
- 机器学习深入与强化--工作流程与模型优化
- 机器学习深入与强化--数学基础(1)
- 机器学习深入与强化--数学基础(2)
- 机器学习深入与强化--数学基础(3)
- 机器学习深入与强化--数学基础(4)
- 机器学习与线性回归
- 回归,分类与聚类:三个方向分析机器学习
- Python机器学习与数据分析系列(2)-线性回归
- 机器学习中的矩阵分析与应用
- 机器学习之非监督学习与强化学习
- -机器学习算法-最小二乘法与回归[4]
- 机器学习之logistic回归与分类
- Spark机器学习之分类与回归
- 机器学习|回归问题与python实现
- Python简介
- linux设备树编译器DTC
- 2017 ACM-ICPC 亚洲区(南宁赛区)网络赛 F. Overlapping Rectangles
- windows 7 下安装TensorFlow
- 《惊魂记》
- 机器学习深入与强化--回归分析与工程应用
- UNIX网络编程之一:代码环境搭建
- 2017 ACM-ICPC南宁网络赛: G. Finding the Radius for an Inserted Circle
- python里为什么需要使用装饰器(decorator)
- 迁移学习 transfer learning
- 从ViewRootImpl类分析View绘制的流程
- 4种OSS的应用架构及核心技术帮助
- 二叉树中和为某一值的路径
- VTK图形处理之剪裁