在spark-shell中编写wordcont
来源：互联网 发布：中译英 字数比例 知乎 编辑：程序博客网 时间：2024/04/30 01:21
首先启动Master：./sbin/start-master.sh
然后启动Worker：./sbin/start-slave.sh master:7077
启动Spark Shell：./bin/spark-shell --master spark://master:7077
在Spark shell中执行如下命令：
val line = sc.textFile("file:////home/spark/spark-2.2.0-bin-hadoop2.7/README.md")
val result = line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
result.saveAsTextFile("file:///home/spark/spark-2.2.0-bin-hadoop2.7/out")
然后启动Worker：./sbin/start-slave.sh master:7077
启动Spark Shell：./bin/spark-shell --master spark://master:7077
在Spark shell中执行如下命令：
val line = sc.textFile("file:////home/spark/spark-2.2.0-bin-hadoop2.7/README.md")
val result = line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
result.saveAsTextFile("file:///home/spark/spark-2.2.0-bin-hadoop2.7/out")
阅读全文
0 0
- 在spark-shell中编写wordcont
- 启动Spark Shell,在Spark Shell中编写WordCount程序，在IDEA中编写WordCount的Maven程序，spark-submit使用spark的jar来做单词统计
- spark shell中编写WordCount程序
- 在shell中编写sql语句
- 使用IntelliJ IDEA编写SparkPi直接在Spark中运行
- 如何在简历中编写Spark大数据项目经验
- 如何在简历中编写Spark大数据项目经验
- 提交spark作业：如何在java中执行shell脚本
- Spark Shell编写第一个代码
- spark shell ,在Windows上build Spark
- 如何在linux下shell编写脚本中模拟键盘输入
- 在Spark 1.2.0的spark-shell中进行Hive数据库的操作
- 在windows本地编写spark的wordcount
- 解决在windows环境中编写shell脚本，在Linux运行出错的问题
- 在secureCRT中解决hbase spark shell退格不能删除问题
- 如何在spark-shell命令行执行spark hql
- spark基础(二)-----------scala在spark shell里的应用
- 在Yarn上运行spark-shell和spark-sql命令行
- RQNOJ188 购物问题
- H5的页面元素
- eclipse动态web目录结构分析
- 平衡二叉树
- 异常:javax.servlet.jsp.PageContext cannot be resolved to a type
- 在spark-shell中编写wordcont
- android 实现监听短信接收并将当前位置发送出去
- Oracle数据库知识梳理---续(创建和管理表)
- h5实现本地图片或文件的上传
- spring task
- java面试题
- 多线程生产者消费者问题
- throwable 和 EXception
- qtabwidget滚动条设置
