基于大数据量的视频推荐策略

构建视频的标签体系和词典画像：

对kafka的video事件构建标签体系存入redis；利用video日志中的文本信息生成词典画像，涉及Word2vect产出词之间的相似度做聚类，避免了kmeans无语义的缺陷；

构建用户画像：

用videoId对kafka的videoEvent日志和redis中的视频标签体系进行join，产出用户画像(deviceId,word,weight)，weight随视频事件种类不同而不同（播放收藏分享），最后落地到redis；

构建视频推荐策略：

kafka的视频事件实时更新以(word,videoId)为单位的倒排记录表；最后推荐的时候将倒排记录表和用户画像以word为key进行join，videoId的分数最后就是它对应的所在用户画像中的word那部分word的weight累加和，取TopK进行推荐。