横论机器学习算法
来源:互联网 发布:多宝视弱视训练软件 编辑:程序博客网 时间:2024/05/16 03:52
摘要
主要是通过回归(discrimination learning model)来对机器学习算法建立横向连接,有助于对各类算法的理解和归类。
储备知识
从统计学角度来讲,一个信号基本上可以分为两个部分:系统性部分和随机分布,系统性部分在我看来是传达的某种规律性的信息,而随机成分就是用来对信号中不能通过规律性的东西进行把握的部分。所以,一般来讲都采用高斯分布进行建模。系统性的部分就是所谓的利用hypothesis建模得到的,而误差
上面的概率公式叫做,给定
补充:梯度下降与牛顿方法是两种非常常用的迭代优化方法,主要的思想就是通过迭代,一步一步地逼近最优解。梯度下降比较直观,沿着梯度的反方向进行搜索,属于典型的贪婪算法,迭代搜索的每一步都是当前最优的下降方向,但在全局看来可能并不是最优的下降曲线;而牛顿法则是通过分析极大和极小值处曲线的特性,通过求导,并使导数为0,构造典型的
f(X)=0 的优化形式,每一步都从该点处的切线位置与X 轴(或平面)相交的处的X作为下一次迭代的搜索位置的X坐标(对应的y 可以通过f(X)=0 求得)。通常情况下牛顿法收敛速度比梯度下降方法要快。
对于线性回归分析,通常是利用平方误差最小化进行推导的,而它的另一种表达就是通过上面的概率解释。通过求解似然函数最大化问题,照样可以推导出平方误差函数来(cost function)。
关于“记忆”
这里主要参考从统计学角度来看深度学习(3):记忆和核方法,有关内容只属于总结性质。
人们通过对以往的经验或者数据的回忆来推断未来的事物,这样的过程可以用一个经常出现在最近文献中的词语——记忆来概括。机器学习模型都是由这样的‘记忆’组成的。根据机器学习模型的种类,可以分为两种主要的记忆机制,即
因此“横论”主要包括两个方法:深度网络、核方法,但本质上却相互联系。
深度网络
线性模型与广义线性模型,实际上通过特征变化基函数,可以实现对特征的映射或者提取,而采用深度网络在最后一层采用线性模型,而前面的所有层可以采用非线性映射的激活函数,可以自适应的找到更好的特征,而不必进行人为地设计。即将输出层作为线性层与前面
利用前面预备知识中的概率模型,得到如下的表示:
这样就可以设计似然概率,通过联合概率分布取对数后取负数得到,最小化这个负的似然函数,可以采用最大后验估计,通过BP算法获得模型参数。“记忆”就通过这个模型参数框架被保留下来。
核方法
继续地,将上面那个目标函数,写成它的dual问题,通过对
将所有的观测值的基函数(特征)整合到了矩阵
这里是核方法与神经网络分道扬镳的地方,仅仅需要考虑特征
这个等式是由表示定理(Representer theorem)得出的解。
2015-8-24
艺少
- 横论机器学习算法
- 机器学习算法排名
- 《机器学习》 KNN算法
- 机器学习中的算法
- 机器学习算法
- 机器学习算法
- 机器学习算法
- 机器学习算法---决策树
- 机器学习_adaboost 算法
- 机器学习常用算法
- 机器学习算法_Adaboost
- 【机器学习】HMM算法
- 机器学习算法-boost
- 机器学习算法-HMM
- 机器学习:KNN算法
- 机器学习常见算法
- 机器学习算法笔记
- 机器学习算法简介
- friend(hdoj 1719)
- bbs---之spring mvc
- 黑马程序员----Java中的IO流学习笔记2
- 对抗赛 解题报告
- 自定义EditText实现未输入文字动画提醒效果
- 横论机器学习算法
- linux 创建NFS服务
- 【POJ3159】【差分系统】【dij+priority_queue】
- codeforces 401D D. Roman and Numbers(状态压缩dp+数论)
- android-如何关闭AlertDialog.Builder对话框
- HTML5内嵌视频格式说明
- Unity3D游戏开发之详解 Animation类和Animator类
- Servlet中的过滤器Filter详解
- Linux安装redis