编写Java程序访问Spark环境
来源:互联网 发布:windows快捷方式图标 编辑:程序博客网 时间:2024/06/05 17:53
Spark本身是使用scala语言编写的,但是Spark提供了访问Spark环境的Java API,使得可以从Java程序中访问Spark环境。
准备环境
在互联的5台机器上同时部署Spark环境和Hadoop环境,之所以部署Hadoop环境,是为了让Spark可以从HDFS加载数据。Spark的版本是为CDH4预编译的0.8.0,Hadoop的版本为CDH4(好像是CDH4.3)。
创建Maven项目
创建Maven项目,在POM文件中添加如下依赖:
<dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.9.3</artifactId><version>0.8.0-incubating</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.0.0-mr1-cdh4.2.0</version></dependency></dependencies>
编写Java程序
直接贴Demo程序的代码和注释。package xxx;import java.util.HashMap;import java.util.Map;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;public class Demo {static final String USER = "wyc";public static void main(String[] args) throws Exception {System.setProperty("user.name", USER); // 设置访问Spark使用的用户名System.setProperty("HADOOP_USER_NAME", USER); // 设置访问Hadoop使用的用户名Map<String, String> envs = new HashMap<String, String>();envs.put("HADOOP_USER_NAME", USER); // 为Spark环境中服务于本App的各个Executor程序设置访问Hadoop使用的用户名System.setProperty("spark.executor.memory", "512m"); // 为Spark环境中服务于本App的各个Executor程序设置使用内存量的上限// 以下构造sc对象的构造方法各参数意义依次为:// Spark Master的地址;// App的名称;// Spark Worker的部署位置;// 需要提供给本App的各个Executor程序下载的jar包的路径列表,这些jar包将出现在Executor程序的类路径中;// 传递给本App的各个Executor程序的环境信息。JavaSparkContext sc = new JavaSparkContext("spark://node01:7077", "Spark App 0", "/home/wyc/spark", new String[0], envs);String file = "hdfs://node01:8020/user/wyc/a.txt";JavaRDD<String> data = sc.textFile(file, 4).cache();System.out.println(data.count());}}
0 0
- 编写Java程序访问Spark环境
- 编写java程序访问spark环境
- java编写spark程序
- java编写spark程序
- java编写WordCound的Spark程序,Scala编写wordCound程序
- 用java编写spark程序,简单示例及运行
- 用java编写spark程序,简单示例及运行
- Intellij idea使用java编写并执行spark程序
- Spark程序开发-环境搭建-程序编写-Debug调试-项目提交
- 编写Spark SQL查询程序
- Spark学习笔记8-在eclipse里用Java编写spark程序
- 第一个android访问java编写的webservice程序
- java环境配置和java程序编写运行
- Java入门1-搭建环境,编写简单程序
- Java基础学习记录笔记(运行环境+程序编写)
- Java开发Spark程序
- spark开发程序编写注意点
- Spark程序编写过程中的常见问题
- 基于xmpp协议,openfire服务器,处理被挤下线,或因网络掉线,第二次无法登录的问题
- 论文读书笔记-A text clustering framework for information retrieval
- Sqrt(x)
- php运行时不显示错误信息?
- 漂亮的多选属性控件 画?调出帮助功能
- 编写Java程序访问Spark环境
- 新东方哥男生女生
- JavaScript的组成和实现
- 如何离线安装GitHub for windows?
- 推进国家治理体系和治理能力现代化
- android 自动化测试的傻瓜实践之旅(UI篇) -----小试身手
- static extern 以及 extern "c"
- 讲解MMU的好文章(四)
- 剩余表空间查询