从零开始深度学习 T1. Regression Case Study
来源:互联网 发布:人工智能方向 知乎 编辑:程序博客网 时间:2024/06/05 23:34
回归分析
回归分析(Regression analysis)是统计学的一个概念,用来估计各个变量之间的关系。
机器学习中常见的回归分析类型有:
- Linear Regression 线性回归
- Logistic Regression逻辑回归
机器学习中的回归分析大体可以用
李宏毅教授的课上讲了一个比较有意思的例子——根据Pokemon的已有参数(如cp、生命值、身高、体重)等,预测Pokemon进化后的cp值。
整个回归分析分为三个步骤:
- 通过建立Model,定义function set
- 定义什么样的function是好的
- 从function set中选出最好的function
下面分别进行阐述
1. 通过建立Model,定义function set
课程中采用了经典的linear model,这也是一个入门级的model:
其中
2. 定义什么样的function是好的
首先考虑
3. 从function set中选出最好的function
从function set中选出
其中
最后得出的拟合结果为
模型的选择
Overfitting
之前我们只考虑了
那么就有
此时拟合结果为
更进一步
当多项式的次数过高时,会存在过拟合(Overfitting)的问题。在过拟合时,模型过度拟合训练样本,失去一般性,从而在训练样本上面的误差很小,但是在检测样本上面的误差很大。如下图所示,在多项式的次数增大的时候,Training data上面的误差不断减小,然而Testing data上面的误差先减小,后急剧增大。
hidden factors
除了进化之前的
regularization
为了让模型拟合的曲线更加平滑,我们可以让模型的参数尽可能变小。为此可以在Loss function中加入参数大小的影响因子,如下公式
更加平滑的function受参数的影响较小。(If some noises corrupt input when testing, a smoother function has less influence)
总结
本文主要介绍了回归分析以及建模步骤,涉及到的新概念有Gradient decent、Overfitting、Regularization等。
- 从零开始深度学习 T1. Regression Case Study
- 【机器学习(李宏毅)】 二、Regression: Case Study
- [机器学习入门] 李宏毅机器学习笔记-2 (Regression:Case Study ;回归:案例研究)
- 从零开始的深度学习
- 从零开始精通深度学习
- case study
- Machine Learning Foundations: A Case Study Approach-Regression-Assignment: Predicting House Prices
- 从零开始,深度学习(一)
- 深度学习基础(五)Softmax Regression
- 深度学习笔记三:Softmax Regression
- Microsoft .net case study
- Free MBA Case Study
- CO CASE STUDY
- HCI Case Study
- Case Study: Activiti & JSF
- Android Performance Case Study
- CNN:Case Study
- Study Note: Multiple Variables Regression
- 安装Mac版cx_Oracle
- Unity 漫反射
- HandlerThread
- Struts2 开发步骤
- easyui-validatebox 验证
- 从零开始深度学习 T1. Regression Case Study
- 一个简易Java开发的图书管理系统
- ssh整合
- 谷歌翻译是如何获得突破性进展?
- 训练总结 9.10
- Javascript原型——类的实现机制
- angualr2——dom操作
- 欢迎使用CSDN-markdown编辑器
- noip2016D1T1 玩具谜题