机器学习深入与强化--特征工程
来源:互联网 发布:电视直播软件pc版 编辑:程序博客网 时间:2024/06/04 18:15
机器学习算法是一个架子,特征需要我们自己去处理,做出更好的特征,让算法去学习,从而达到更好的效果。
意义中灵活性指的是,如果使用的是简单的LR,处理起来更灵活,更好控制。
做的都是一些基础的事情,比如:
1、跑数据,但互联网的数据都是大数据,不会存在一台服务器上,一般存在HDFS或者Hive表里,自己去写mapreduce的任务,去写HQL去聚合处理这些数据,也就是在数据仓库里打杂。
2、数据清洗。比如电商里很多数据是刷单刷出来的,这部分数据会严重影响模型的判断力。
3、分析业务。针对特定业务想特征,会思考采集什么样的特征对之后的结果有用处。
4、最后用在特定的算法上。
5、找出误判的case,分析误分的原因,在特征的层面再次调整模型。
知道了哪些数据需要采集,接下来就要确定这些数据的存储逻辑、存储方式和存储格式
存储之后就是数据清洗,去掉脏数据
接下来进行数据采样,因为大部分情况下,正负样本的分布是不均衡的
正>>负,且量都挺大==>下采样
正>>负,量不大==>
1、采集更多的数据,如采集时间拉长
2、修改损失函数,给较少的样本一个大的权重,迫使其学习时照顾到少量样本
数据特征工程的数据分为几种类型
归一化:每个维度不一样,梯度下降时出现困难,因为下降方向是由每个维度的方向向量合成的,导致凸函数中下降时出现震荡,一句话就是收敛慢,准确度低。
类别型有三个处理方法:
时间型的数值:即可以看做连续值,也可以看做离散值
停留持续时间可以反映喜好程度,间隔时间可以反映再次购买的需求。
特征与业务相关性很强,要学会开脑洞,有以下三种方法:
阅读全文
0 0
- 机器学习深入与强化--特征工程
- 机器学习深入与强化--回归分析与工程应用
- 机器学习深入与强化--概念
- 机器学习深入与强化--工作流程与模型优化
- 机器学习:特征工程
- 机器学习-特征工程
- 机器学习 特征工程
- 机器学习--特征工程
- 机器学习-特征工程
- 机器学习----特征工程
- 机器学习深入与强化--数学基础(1)
- 机器学习深入与强化--数学基础(2)
- 机器学习深入与强化--数学基础(3)
- 机器学习深入与强化--数学基础(4)
- 特征工程:机器学习中的特征与标签nlp化
- 特征工程:机器学习中的特征与标签自然语言化
- 机器学习之特征工程
- 机器学习之特征工程
- Servlet生命周期与工作原理
- java 课堂笔记 1
- PCIe interface的NVRAM介绍--基于PMC的flashtec 产品
- leetcode题记——Reverse Integer
- spring aop 代理实现
- 机器学习深入与强化--特征工程
- Android监听状态栏通知
- 【激光雷达】——什么是激光雷达?
- 210. Course Schedule II
- Java web开发中常用到的jar包简介
- linux工作与进程管理
- c#linq里的Skip和Take处理分页笔记
- bzoj 2933(区间dp)
- loadrunner Web_类函数之web_service_call()