推荐系统介绍
来源:互联网 发布:编程用什么系统好 编辑:程序博客网 时间:2024/04/29 11:40
一个好的推荐系统应该分成以下几个模块:
1.数据获取:日志收集,Sqoop,Flume,Kafka,爬虫。
2.数据计算:离线数据计算的HIVE,Spark,mapreduce以及实时数据计算的storm,spark,streaming。
3.数据存储:Hbase以及hdfs等。
4.数据挖掘:相关算法。
算法:给予用户的行为数据:系统过滤:给予邻近(用户,物品),隐语义模型,基于图的随机游走。
判断的方法:准确率,召回率,覆盖率(发觉长尾能力),新颖度。
冷启动分为用户,物品和系统的冷启动。其中解决办法主要有:非个性化推荐,利用热门排行榜,年龄性别的注册信息(基于人口统计学,在我们的数据库中存不同的表,特征越多,准确率越高),从其他网站导入相关信息。
第一推动力:利用ItemCF的思想,将物品随机展示,再利用UserItem扩散。
用户行为的统一标识:user id,item id,behavior type,context,behavior weight,behavior context.
长尾理论:只要存储和流通的渠道足够大,需求不旺或销售不佳的产品所共同占据的市场份额和那些少数的热销产品所占的市场份额相匹配甚至更大。
基本常识:
向量空间模型;d={(e1,w1),(e2,w2),...}
IF-TDF:IF是词频,改词在该文件出现的概率,IDF是log(总文件数/改词出现的文件数目)
unix:"\n"换行
Windows用"\r\n"换行
Mac用"\r"来换行
shell脚本中的字符串判断用"=",数字判断用"eq"
阅读全文
0 0
- 推荐系统介绍
- 推荐系统原理介绍
- 推荐系统原理介绍
- 推荐系统简单介绍
- 推荐系统介绍
- 推荐系统原理介绍
- 推荐系统之详细介绍
- [推荐系统]协同过滤介绍
- 腾讯实时推荐系统介绍
- 推荐系统之算法介绍
- D24 推荐系统DSP介绍
- 【转载】推荐系统原理介绍
- 推荐系统学习笔记(一)介绍
- 猜你喜欢-----推荐系统原理介绍
- 猜你喜欢-----推荐系统原理介绍
- 个性化推荐系统方向简单介绍
- 推荐系统-协同过滤简单介绍
- 推荐系统:总体介绍、推荐算法、性能比较
- 欢迎使用CSDN-markdown编辑器
- 伽卡他卡终极毁灭版---如何卸载!!!
- Maven相比于传统Java动态工程的优势
- jquery验证后台数据库中是否有重复数据,比如注册的时候需要
- Java Web 之文件上传与下载
- 推荐系统介绍
- 整理设计模式(待完善)
- UML类图学习(待完善)
- Hibernate 员工和部门
- JVM相关
- VPN相关
- SVN相关
- 欢迎使用CSDN-markdown编辑器
- HDDATA基本注意事项