Spark下如何运行Java版本的WordCount
来源:互联网 发布:tomcat数据库配置文件 编辑:程序博客网 时间:2024/05/30 02:23
最近研究了下spark,因为scala还不熟,所以先学习了java的spark程序写法,下面是我的简单测试程序的代码,大部分函数的用法已在注释里面注明。这里需要用到一个jar文件:spark-assembly-1.0.0-hadoop1.0.4.jar
WordCount代码如下:
手动编译运行过程:
导出类文件生成jar包,这里生成为JavaWordCount.jar。
然后执行下面命令,其中--class 指定主类,--master 指定spark master地址,后面是执行的jar和需要的参数。
bin/spark-submit--class org.project.modules.spark.java.WordCount
--master spark://centos.host1:7077
/home/hadoop/project/mining.jarhdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt
可以看到控制台有如下结果:
0 0
- Spark下如何运行Java版本的WordCount
- java调用spark的借口运行WordCount
- Spark开发-WordCount详细讲解Java版本
- Spark 的JAVA版 wordCount
- idea运行spark的wordcount与eclipse运行spark的wordcount示例,及本地运行sparkpi
- spark wordcount 提交运行
- 利用Scala编写Wordcount并在spark框架下运行
- spark如何wordcount中文
- 将java开发的wordcount程序部署到spark集群上运行
- 010-spark standalone模式JAVA版本WordCount代码
- 基于Java的Spark WordCount编程实现
- spark 本地调试运行WordCount(java版local模式)
- java spark WordCount
- Spark运行原理-WordCount解密
- Linux 下运行wordcount的过程详解
- 007-spark的wordCount
- Spark入门的WordCount
- Spark的WordCount详解
- Struts+Spring之Spring注入失败
- PVOID 型指针
- eclipse修改JSP模板编码为UTF-8
- 凌大坑实验报告模板
- oracle笔记大全
- Spark下如何运行Java版本的WordCount
- 【后缀数组|最长回文子串】URAL-1297 Palindrome
- LeetCode - Search For a Range
- 每天一剂 WebView 良药
- 多个线程如何操作同一个epoll fd
- html 网页中插入视频没有画面只有声音的问题
- NYOJ-1043-高数
- window多线程简单实例
- 欢迎使用CSDN-markdown编辑器