spark【例子】单词计算(wordcount) 词频排序(TopK)

---

例子描述：

【单词计算wordcount 】
【词频排序topk】

单词计算在代码方便很简单，基本大体就三个步骤

• 拆分字符串
• 以需要进行记数的单位为K，自己拼个数字1为V，组成一个映射或者元组
• 分组（groupByKey）

词频排序

• 将分组后的数据进行排序

---

代码片段：

/* 单词计算wordcount */val input = Source.fromFile("E:/test.txt").getLines.toArrayval wc = sc.parallelize(input)       /* spark单机读取数据 */.flatMap(_.split(" "))               /* 拆分数据，以空格为拆分条件 */.map((_,1))                          /* 将拆分的每个数据为K，自己创建个1为V */.reduceByKey(_+_)                    /* 这里我喜欢叫分组 */.foreach(println)                    /* 输出 */

/* 词频排序topk */val input = Source.fromFile("E:/test.txt").getLines.toArrayval topk = sc.parallelize(input)     /* spark单机读取数据 */.flatMap(_.split(" "))               /* 拆分数据，以空格为拆分条件 */.map((_, 1))                         /* 将拆分的每个数据为K，自己创建个1为V */.reduceByKey(_+_)                    /* 这里我喜欢叫分组 */.sortBy(_._2,false)                  /* 根据分组后数据第2位数据进行排序 */.take(5)                             /* 只取前5位 */.foreach(println)                    /* 输出 */