spark如何wordcount中文

来源:互联网 发布:用php编辑九九乘法表 编辑:程序博客网 时间:2024/05/16 07:47

典型的wordcount英文的例子

 val conf = new SparkConf().setAppName("FirstApp").setMaster("local")    val sc = new SparkContext(conf)    val c = sc.textFile("hdfs://hadoop1:9000/input/sparkwc").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).map(x => (x._2, x._1)).sortByKey(false).map(x => (x._2, x._1)).saveAsTextFile("hdfs://hadoop1:9000/out")    sc.stop

那么问题来了,中文,这么wordcount。各种求。

0 0