scala本地wordcount的程序编写
来源:互联网 发布:js实现老虎机 编辑:程序博客网 时间:2024/05/17 00:11
主要是在本地编写一个计算文件中单词出现次数的工具,一下是代码:
import scala.actors.{Future, Actor}import scala.collection.mutableimport scala.collection.mutable.{ListBuffer, ArrayBuffer}import scala.io.Source/** * mhc * Created by Administrator on 2016/5/12. */case class startTask(fileName: String)case class stopTask()case class resultSet(result: Map[String, Int])class Task extends Actor { override def act(): Unit = { loop { react { case startTask(fileName: String) => { // 开始任务 val lines = Source.fromFile(fileName).mkString val arr = lines.split("\r\n") val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.length) sender ! resultSet(result) } case stopTask => { exit() } } } }}object Task { def main(args: Array[String]) { val replySet = new mutable.HashSet[Future[Any]] var list = new ListBuffer[resultSet] val files = Array("D://words.txt", "D://newword.txt") val task = new Task task.start() for (s <- 0 until files.length) { replySet += (task !! startTask(files(s))) // 发送消息 } for (set <- replySet) { list += set.apply().asInstanceOf[resultSet] } val result = list.map(_.result).flatten.groupBy(_._1).mapValues(x => x.foldLeft(0)(_ + _._2)) println(result) }}接下来是我的两个外部txt:
newword.txt:
chandler tomjerry roselily jerrywords.txt
tom jerrytom Chandler jerry rose
0 0
- scala本地wordcount的程序编写
- scala-eclipse 编写spark简单程序 WordCount
- Spark实战----(1)使用Scala开发本地测试的Spark WordCount程序
- 在windows本地编写spark的wordcount
- scala akka wordcount程序
- Scala写的wordcount
- scala版本的wordCount
- WordCount的Scala实现
- 基于HDFS的spark分布式Scala wordcount程序测试
- maven构建Scala程序,实现spark的wordcount
- idea利用scala编写wordcount 一些坑
- 使用Scala编写WordCount详细分析
- Hadoop MapReduce WordCount程序编写
- 用Python编写MapReduce的WordCount实例程序
- Linux下编写运行自己的WordCount程序
- 用python编写mapreduce版的wordcount程序
- Hadoop 1.x 编写自己的WordCount程序
- 如何编写最简单的MapReduce之WordCount程序
- 数据结构上机测试1:顺序表的应用
- 掌中行_mysql的相关命令
- myapps 文件管理
- CentOS 6.4/(6.7 64位)安装配置LAMP服务器(Apache+PHP5+MySQL)
- footerView设置backgroudColor不起作用,必须这样设置
- scala本地wordcount的程序编写
- 12RoundedTeamationBuilder
- Spring学习笔记之---注解的使用
- ubuntu 下快速搜索文件
- JAVA随机数之多种方法从给定范围内随机N个不重复数
- 微信&java 开发6 全局缓存access_token与jsapi_ticket
- iOS的rtmp推流Demo
- C#字符串取消转义字符的转义作用,使其正常显示
- powerdesigner,把comment替换成name和把name替换成comment