机器学习几种常见模型的介绍
来源:互联网 发布:淘宝一元购在哪里 编辑:程序博客网 时间:2024/06/06 01:34
这里我主要介绍以下几种模型:
- k近邻法
- 朴素贝叶斯法
- 决策树
- 逻辑斯蒂回归
- 支持向量机
- adaBoost方法
K近邻法
原理
输入:实例的特征向量
输出:实例的类别
算法描述:
(1)在训练集中找出与实例最近邻的k个点,涵盖这k个点的邻域记做
(2)在
优缺点
优点:精度高,对异常值不敏感,无数据输入假定
缺点:计算复杂度高,空间复杂度高
适用场景
一般适用于数值型数据和标称型数据
决定要素
距离度量、k值选择、分类决策规则,是k近邻的三大要素,它不具有显示学习的过程。
参考文献
1.Cover T,Hart P.Nearest neighbor pattern classification.IEEE Transaction on information Theory 1967
朴素贝叶斯方法
原理
朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。
输入:随机向量
输出:类标记
基本思想:对于给定的输出
算法描述(针对文档词分类):
(1)通过遍历文档集,计算
(2)由上述公式,我们就可以计算出后验概率,取概率较大的那个类别。
优缺点
优点:在数据较少条件下,可以处理多类别问题
缺点:对于输入数据的准备方式较为敏感
适用场景
适用于标称型数据
参考文献
1.Mitchell TM.Chapter 1:Generative and discriminative classifier:Naive Bayes and logistic regression.In :Machine Learning.Draft,2005.
逻辑斯蒂回归
原理
属于对数线性模型,从逻辑斯蒂分布得到该模型,该模型是如下的概率分布:
我们通过求出两种类别的概率,取概率较大的那个类别。
其中算法的核心集中在求权值矩阵
在实际的工程中,梯度下降法比较容易实现,下面我们介绍一下采用梯度下降法实现的逻辑斯蒂回归模型。
算法描述:
(1)权重向量的初始化
(2)迭代N次:
计算整个数据集的梯度
使用
(3)返回最终的权重向量系数
从算法来看,我认为采用梯度下降法的逻辑斯蒂回归实际上与两层神经网络的BP算法非常相似(这里采用Sigmod激活函数)。
优缺点
优点:计算代价不高,易于理解和实现
缺点:容易欠拟合,分类精度可能不高
适用场景
数值型和标称型数据
决定因素
模型迭代速度的快慢决定于更新权重的步长,步长太大容易长生振荡,步长太小迭代速度太慢,所以需要选取合适的步长,还有终止迭代的条件,这里以最简单的迭代次数作为循环终止条件,实际上我们也可以将模型推测值和实际值的误差作为循环的终止条件。
总的来说,有两个重要因素决定了模型:更新步长,循环终止条件
AdaBoost算法
原理
我们知道弱分类器容易实现,提升方法就是从弱学习算法出发,反复学习,得到一系列的弱分类器,然后组合这些弱分类器,构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布,针对不同的训练数据分布调用学习算法学习一系列的弱分类器。
输入:训练数据
输出:类别{-1,+1}
算法描述:
(1)初始化训练数据的权值分布D1
(2)对每一次的权重分布m=1,2,..,M
(a)使用权值分布
(b)计算
(c)计算
(d)更新训练数据集的权值分布,这里主要通过
(3)构建基本分类器的线性组合
决定因素
弱分类器的个数、弱分类器类型(如:单层决策树)、弱分类器的构建(如:在全局特征空间中寻找最优特征的步长)。
优缺点
优点:泛化错误率低,易编码,可以应用在大部分分类器上,无参数调整
缺点:对离群点敏感
适用场景
数值型数据和标称型数据
- 机器学习几种常见模型的介绍
- 机器学习:几种常见的学习方法
- 几种机器学习常见的距离
- 几种机器学习模型的基本思路
- 机器学习中常见的几种优化方法
- 常见机器学习模型总结
- 几种常见的过程模型
- 几种常见的搜索引擎检索模型
- 几种常见的博弈模型
- 几种常见的软件开发模型
- 机器学习中几个常见模型的优缺点
- 解析机器学习中的几种常见聚类算法
- 机器学习中的常见学习模型
- 几种常见卡的简单介绍
- 几种常见的加密方式介绍
- android:几种常见的Adapter介绍
- 介绍几种常见的对焦基本原理
- 几种常见的设计模式介绍
- Oracle数据库教程RAC常用维护工具和命令
- C/C++在线笔试题总结(持续更新)
- SRT视频字幕的解析与同步原理
- 图的基本存储的基本方式一
- 提高iOS开发效率的方法和工具
- 机器学习几种常见模型的介绍
- 全民消消乐 联通sdk对接
- 3.安装和配置ibati
- 怎样在Win7系统建立并开启Wifi热点
- php 等比例生成缩略图
- 去除String 小数点后多余的0
- UltraEdit编辑器如何查看项目中某个变量,方法出现在那些地方使用了
- iOS 地图制作讲义
- Excel 2010 VBA实战技巧精粹——互动出版网