个性化推荐系统(八)--- 机器学习深度学习召回集扩量
来源:互联网 发布:网络玄学是什么意思 编辑:程序博客网 时间:2024/06/07 08:40
个性化推荐系统评价有两个重要指标,一个是召回率一个是准确率。召回率就是:召回率=提取正确信息条数/样本中
信息条数。准确率就是:准确率=提取出正确信息条数/提取信息条数。召回率大小直接影响准确率,直接影响机器学习模
型、深度学习模型线上效果。
模型实时计算第一步是模型上线,将spark、TensorFlow训练模型通过实时加载,使用到线上实时CTR点击量预估。
是机器学习模型第一步,第二步是不断扩大线上召回集,增加新特征来提升点击量预估准确率。
今天主要分享下线上实时模型召回素材、特征集扩容,最开始线上召回集数量是100,扩展到200,整个性能下降到
70ms,加上线上逻辑性能已不可接受。这时我们想了个方法用多线程进行多核计算提升性能。经过上线测试每个线程计
算50个数据,性能优化到计算只消耗3ms,已经线上使用。
进一步线上召回集扩到1000,采用增加线程每个线程100个特征组,线上能能25ms,这种召回集扩量已在线上使用。
下一步在扩量,性能瓶颈已经是IO,而不是多线程计算。将计算服务改成jar包此时召回集可以进行扩量到2000。
在下一步扩召回集,取素材特征与提供接口服务拆分、接口服务通过并发分布式方式进行请求,此时召回集量应为几
种方式最大。需要调整接口服务与素材、特征以及计算服务,通过测试得到IO、线程计算结果合并、多核计算的平衡,需
排期配合。
最后一步已基本和开源分布式搜索引擎计算方式类似,后续会持续调研新的优化方式,并引入到线上。总结一下,主
要思路是先分开并采用多线程,在合并减少IO,最后通过分布式计算实现召回集扩量。
公众号:互联网开发者Club
扫码关注公众号
- 个性化推荐系统(八)--- 机器学习深度学习召回集扩量
- [翻译]机器学习如何个性化推荐音乐
- 机器学习,推荐系统
- 机器学习 推荐系统
- 机器学习-推荐系统
- 机器学习-推荐系统
- 个性化学习之推荐系统篇[笔记]
- 机器学习和数据挖掘在个性化推荐系统中的应用
- 机器学习9(2)推荐系统
- 机器学习:个性化推荐之评分预测问题
- 机器学习之推荐系统
- 机器学习12推荐系统
- 机器学习->推荐系统->LFM
- 机器学习算法~推荐系统
- 机器学习之- 推荐系统
- 系统学习深度学习(八)--损失函数
- 系统学习机器学习之神经网络(八) --ADALINE网络
- 机器学习—— 基于深度学习的推荐系统的实现
- iPhoneX的faceID到底是一种怎样风骚的操作?
- Windows 下 jupyter notebook自定义配置
- 剖析 PHP 相等, OPCODE 分析
- C++全局变量、extern/static/const浅析
- lunix部署
- 个性化推荐系统(八)--- 机器学习深度学习召回集扩量
- C++ 修饰符类型
- BZOJ3711: [PA2014]Druzyny
- servicemix远程调试
- Redis 快速入门指南
- Java导出Excel
- maven下配置ojdbc包
- 金融反作弊中的设备指纹
- java transient 关键字和Serializable接口、Externalizable接口