【CSDN学院视频】以性别预测为例,谈谈数据挖掘中常见的分类算法
来源:互联网 发布:阿里云发布网站 编辑:程序博客网 时间:2024/05/01 10:20
一、数据挖掘概念
1.数据挖掘工程师
数据挖掘工程师 = 大数据工程师 + 算法工程师
2.数据挖掘主要任务
1) Prediction Tasks 预测性任务
Use some variables to predict unknown or future values of other variables
2) Description Tasks 描述性任务
Find human-interpretable patterns that describe the data
3) Common data mining tasks
- Classification [Predictive]
- Clustering [Descriptive]
- Association Rule Discovery [Descriptive]
- Sequential Pattern Discovery [Descriptive]
- Regression [Predictive]
- Deviation Detection [Predictive] -
3. 数据挖掘参考资料
4.数据挖掘深化
- The elements of Statistical Learning
- Pattern Recognition And Machine Learning
二、数据挖掘步骤
1.明确问题
1) 有什么样的数据,这是个什么问题?分类,聚类,推荐……
2) 怎样的假设?数据>anything
2.数据预处理
1) 数据集成,数据冗余,数值冲突
2) 数据采样
3) 数据清理,缺失值处理,噪声数据
3.特征工程
4.模型算法
1) 模型的选择,NB,LR,SVM,Ensemble,NN,DL
2) 自己实现还是利用开源工具
3) 模型的评价
5.产出
数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。
三、通过性别预测来看具体的数据挖掘问题
1.数据
数据1: 用户使用App的行为数据
launches 启动次数
durations 停留时长
model 机型
数据2:用户浏览网页的行为数据
四、分类模型和算法
1.决策树算法
1)属性选择: ID3 — 信息增益
C4.5 — 信息增益比
CART — 基尼指数
2) 特点: 便于理解和解释
不需要考虑异常数据,不需要考虑数据是否线性可分
容易过拟合
2.KNN算法
KNN算法特点:
1)对噪声敏感
2)采用适当的距离计算方式和数据预处理方式
3)适合处理样本不多的情况
4)K选取是个问题
3.Naive Bayes算法
贝叶斯定理: P(B|A)=P(A|B)*P(B)/P(AB)
特点:
4.Logistic Regression算法
5.Ensemble算法
6.Neural Network 和Deep Learning算法
神经网络
深度学习
7. 数据挖掘算法选择
五、分类算法评价
1.混淆矩阵
2.AUC
- 【CSDN学院视频】以性别预测为例,谈谈数据挖掘中常见的分类算法
- 以性别预测为例,谈谈数据挖掘中的分类问题
- 数据挖掘算法--分类与预测笔记
- 数据挖掘中分类与预测的区别
- 以产品调价需求为例,谈谈决策树分类算法
- 数据挖掘(三)分类模型的描述与性能评估,以决策树为例
- 数据挖掘-ionosphere数据集-k近邻算法-分类预测
- 数据挖掘算法的分类
- 数据挖掘中分类算法小结
- 数据挖掘中分类算法小结
- 数据挖掘中分类算法小结
- 数据挖掘中分类算法小结
- 数据挖掘中分类算法小结
- 结合数据挖掘分类谈谈对信息熵的理解
- 数据挖掘-oneR算法-Iris数据集分析-使用oneR算法进行分类预测(五)
- 数据挖掘分类算法的优缺点总结
- 数据挖掘--分类算法的优缺点
- 数据挖掘算法-聚类的分类
- 基于 REST 的 Web 服务:基础
- 怎么解决java.lang.NoClassDefFoundError错误
- NDK-CPP语言-继承
- docker文章备份
- POJ2527 简化 · 多项式相除求余数
- 【CSDN学院视频】以性别预测为例,谈谈数据挖掘中常见的分类算法
- Java反射技术初学习
- Bootstrap表单布局
- 远程监控服务器cpu、内存等
- Android中MVP的初步认识与简单用法
- 学习资料链接
- java正则表达式详解Pattern类和Matcher类
- ubuntu server 16.04离线安装docker 1.12.3的探索
- DEV——ComboBoxEdit(barEditItem)