基于Mapreduce的推荐器原理和实现

原理：item相似矩阵*user对item喜好矩阵   得到 预测的user对所有item的喜好矩阵（推荐度），排列取高

Recommender程序实现（初）：

CardID：卡号，对应于用户

ShopID：店铺标识

步骤1：

消费记录文件作为输入，生成用户（银行卡）数据、评分

MAP

在消费记录文件中，提取CardID、ShopID

输入：（Long，String），Long表示文件中的位置，String表示该行的消费记录

输出：（CardID，ShopID），如98955/ 590

REDUCE

先对每个用户统计ShopID，再跟据评分系统评分

输出：（CardID，Vector），Vector中存放该用户消费过的所有商铺和评分。如

98955/ [590:3.0, 22:4.0, 9059:1.0]

步骤2

步骤1的结果文件作为输入，衡量店铺的相关程度

MAP

输入：（CardID，Vector），如98955/ [590:3.0, 22:4.0, 9059:1.0]

输出：（ShopID1，【ShopID2：s12】），s12表示12的相关程度，如590/[22：12.0]

REDUCE

对每个店铺统计其他店铺的相关度

输出：（ShopID1，Vector），Vector中存放其他店铺和该店铺的相关度。如

590/[22：12.0，95：1.0，...，9059：3.0，...]

步骤3

步骤1的结果文件作为输入

MAP

输入：（CardID，Vector），如98955/ [590:3.0, 22:4.0, 9059:1.0]

输出：（ShopID，【CardID：W】），W为偏好程度，如590/[98955：3.0]

REDUCE

无操作

步骤4

步骤2、3的结果文件作为输入

MAP

无操作

REDUCE

根据ShopID，把用户喜好信息、与其他店铺相似信息收集在一起

输出：（ShopID，VectorAndPrefsWritable），VectorAndPrefsWritable中存储用户喜好信息、与其他店铺相似信息。如590/ [ [ 98955：3.0，98966：4.0，...]；[22：12.0，95：1.0，...，9059：3.0，...]]

步骤5

步骤4的结果文件作为输入，得到总的推荐度，得到推荐数据

MAP

根据用户划分，用用户喜好程度和店铺相似程度相乘得到推荐度

输出：（CardID，Vector），如98955 /[22：36.0，95：3.0，...，9059：9.0，...]

COMBINER

根据CardID，把Vector累加

REDUCE

根据CardID，把Vector累加，找到推荐度高的前N个店（没有消费过的）

输出：（CardID，Vector），如98955/ [23：15.0，195：1.0，...]

Recommender程序实现（改）：

主题思想：

由于数据量巨大，要通过Hadoop分布式编程实现该任务。

具体实现：

通过7步Mapreduce程序分布实现，并通过main函数控制7个mapreduce的执行。

Step0：

做itemID和index映射的准备工作。mapper逐行读入item文件，并作处理后得到itemID，再依次标号，写出到文件。

Step1：

mapper首先在setup过程中，根据step0文件构建hash表（HashMap）。在map函数中对文件内容处理后，写出<userID,index>对。

combiner累加

reducer把相同的进行累加，得到用户去过每个店铺的次数的容器，在根据次数、评分对应关系转化成每个用户评分的容器。

Step2：

mapper根据step1结果，如果两个item共同出现在，输出<item1,item2>

combiner累加

reducer累加得到最终的item1和其他item共同出现次数

step3：

mapper以step1结果为输出，以itemindex拆分，得到多个<itemindex,(user:preference)>

step4：

默认mapper，以2、3为输入

reducer把list（user）、list（preference）、itemindex和其他item共同出现次数（vector)根据itemindex整合到一起

step5：

mapper中对每个user计算preference*vector，输出<user,preference*vector>

combiner\reducer根据user把preference*vector叠加，完成两个矩阵得乘法。

Step6：

默认的mapper，step1、step5结果作为输出。

reducer中，在step构建用于index和itemID转化的HashMap。在reduce函数中，先去掉值为0的元素得到迭代器，统计个数比再次得到Vector。比较个数即可分别preferenceVector、recommendationVector。把preferenceVector去0后做循环，把1两者相同的元素在recommendationVector中的值设为0。在根据recommendationVector得到对于用户前K个推荐度最高的index，做转化后写出到输出文件（step6）

有待解决的问题：

由于mapreduce个数多、数据量大，需要做优化。

谁有想法欢迎留言、来信，谢谢。