深度学习之基础篇:凸学习问题
来源:互联网 发布:mysql外键怎么设置 编辑:程序博客网 时间:2024/06/07 06:47
简介
深度学习中,凸优化的重要性不言而喻。为了更好的理解凸优化,这里对凸学习问题、凸性及相关性质做一个简单总结:
这里我们依次来了解其中各个性质。
基本概念
1. 凸集
定义:设C是向量空间中的一个集合,若对C中任意两点u和v,连接他们的线段仍在C中,那么集合C是一个凸集。
也即,对任一实数α∈[0, 1],都有
αu+(1-α)v∈C
图片引用自我爱机器学习
根据定义,图1中左图为凸集,右图为非凸集。
2. 凸函数
定义:设C是一个凸集,如果对任意的u,v∈C及α∈[0, 1],函数f:C→R满足
f(αu + (1-α)v) ≤ αf(u) + (1-α)f(v)
则称f为C上的凸函数。
性质1: 凸函数的每一个局部极小值也是全局极小值。
性质2: 对于凸可微函数,有:
∀u, f(u) ≥ f(w) + <▽f(w), u-w>
性质一,通过任意小的α构造u和u+α(v-u)数据同一局部域中,再结合凸函数定义即可证明。
性质二,通过偏导的定义,令α→0,再结合凸函数定义即可证明。
证明过程就不再赘述。
引理:设f:R→R是一个二阶可微的标量函数,则下列命题等价:
- f是凸的。
- f的一阶导是单调不减的。
- f的二阶导是非负的。
3. 利普希茨性
定义:设C∈Rd, f:Rd→Rk,如果对于任意的w1,w2∈C, 有
||f(w1) - f(w2)|| ≤ ρ|| w1-w2 ||
那么, f是ρ-利普希茨的。
直观的讲,利普希茨函数变化不会太快。
对于可微函数,由中值定理可知
f(w1) - f(w2) = f’(u)(w1-w2)
其中u位于w1,w2之间,若f的导数绝对值处处以 ρ为界,则函数f是 ρ-利普希茨的。
4. 光滑性
定义:如果可微函数f:Rd→R的梯度是ρ-利普希茨的,即对于所有的v,w满足||▽f(v) - ▽f(w)|| ≤ ρ|| v-w ||,那么f是ρ-光滑。
如果一个函数既凸又光滑时,我们可以同时得到函数与其一阶近似差值的上下界,这种函数也称为自有界函数。
凸学习问题
定义:如果假设类H是凸集,且对于任意的z∈样本集Z,损失函数L是凸函数,那么学习问题(H,Z,L)是凸的。
1. 凸学习问题的可学习性
不是Rd上所有的凸学习问题都是可学习的,还需添加一些额外的约束条件使其可学习,比如可以假设损失函数具有利普希茨性或光滑性。
2. 凸利普希茨有界学习
如果假设类H是一个凸集,且对于所有的w∈H都成立||w|| ≤ B; 对于所有的z∈Z, 损失函数是凸的且是ρ-利普希茨,则称学习问题(H,Z,L)是凸利普希茨有界的。
3.凸光滑有界学习
如果假设类H是一个凸集,且对于所有的w∈H都成立||w|| ≤ B; 对于所有的z∈Z, 损失函数是凸的,非负的且是ρ-光滑,则称学习问题(H,Z,L)是凸光滑有界的。
- 深度学习之基础篇:凸学习问题
- 深度学习之二---深度学习基础概念篇
- 深度学习word2vec笔记之基础篇
- 深度学习word2vec笔记之基础篇
- 深度学习word2vec笔记之基础篇
- 深度学习word2vec笔记之基础篇
- 深度学习word2vec笔记之基础篇
- 深度学习word2vec笔记之基础篇
- 深度学习word2vec笔记之基础篇
- 深度学习之基础(一)
- 深度学习基础之LSTM
- 深度学习的学习流程之基础
- 深度学习之收敛问题
- 深度学习之收敛问题
- 深度学习之收敛问题
- 深度学习:Keras入门(一)之基础篇
- 深度学习之数学基础(线性代数篇)
- 深度学习基础之 - 行人检测SSD
- MySQL数据库入门练习200句
- bzoj 1409 Password 矩阵快速幂+欧拉函数
- CF --- 832D Misha, Grisha and Underground 【LCA + 思维】
- 图像基础7 图像分类——余弦相似度
- 二叉树面试题
- 深度学习之基础篇:凸学习问题
- Sublime 配置 Python 开发环境
- CRM的主要功能(全)
- springboot之全局异常捕获
- AtCoder 079D Decrease
- c++ set容器总结
- HDU1303 Doubles
- 基于MFC串口编程和曲线图绘制(visual studio2008,Teechart绘图控件)的程序总结
- 数据结构实验之图论四:迷宫探索