使用 scala 实现单机版 WordCount

1、定义一个list,这个list里面模拟一行一行的文本数据

val lines = List("hello aa bb cc ", "hello dd ee ff aa ", "hello kk hh jj")

2、用map函数对lines按照空格进行切割

val lineword = lines.map(_.split(" "))

3、用flatten函数对lineword进行“压平”

val words = lineword.flatten

4、还可以把2、3合为一步,使用flatMap函数

val words = lines.flatMap(_.split(" "))

结果

words：List[String] = List(hello ,aa, bb, cc , hello, dd, ee, ff, aa , hello, kk, hh, jj)

5、words中的每个单词都计数为 1 。

val wordAndOne = words.map(( _  , 1 ))

结果

wordAndOne: List[(String,Int)] = List((hello,1),(aa,1),(bb,1),(cc,1),(hello,1),(dd,1),(ee,1),(ff,1),(aa,1),(hello,1),(kk,1),(hh,1),(jj,1),())

6、分组，将相同的单词放到一起，使用函数groupBy

val grouped = wordAndOne.groupBy( **_._1**)

结果是一个map，里面是一对对的对偶元组，key -> value 的形式。

grouped: scala.collection.immutable.Map[String,List[(String, Int)]] = Map(cc -> List((cc,1)),     hello -> List((hello,1), (hello,1), (hello,1)),     aa -> List((aa,1), (aa,1)),     ee -> List((ee,1)),     hh -> List((hh,1)),     jj -> List((jj,1)),    )

7、统计单词个数：把map里面每个对偶元组的key 和 value.size取出来即可达到目的。

val res = grouped.map(t => (t._1,t._2.size))

结果

res: scala.collection.immutable.Map[String,Int] = Map(cc -> 1,     hello -> 3,     bb -> 1,     ee -> 1,     ff -> 1,     hh -> 1,     kk -> 1,     jj -> 1,     dd -> 1)

8、按照单词出现的次数，从高到低排序

val finalRes = res.toList.sortBy(_._2).reverse

结果

finalRes: List[(String, Int)] = List((hello,3),      (aa,2),      (jj,1),      (hh,1),      (ee,1),      (cc,1))

9、终极写法，一句搞定！！！

val res = lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t => (t._1,t._2.size)).toList.sortBy(_._2).reverse