windows下通过IDE发布job到Hadoop Linux集群
来源:互联网 发布:sql注入入门 编辑:程序博客网 时间:2024/05/21 14:41
环境
- IDE IntelliJ IDEA 2017.2.2 x64
- 本地OS Windows10
- Hadoop 2.8.1
- 集群OS 多台CentOS 6.5
- jdk1.8
- 项目构建 Maven
步骤
相对于本地独立运行需要对org.apache.hadoop.conf.Configuration对象通过set以键值对方式添加以下配置项
# 以下4条配置皆可于%HADOOP_HOME%/etc/hadoop/目录下的core-site.xml、mapred-site.xml、yarn-site.xml获得yarn.resourcemanager.hostname=192.168.0.100mapreduce.framework.name=yarndfs.replication=2fs.default.name=hdfs://192.168.0.100:9000# 必须加入此条配置,定义maven打包后jar包的路径,jar将被传送到集群供其调用map及reducemapred.jar=H:\\project\\ideaProject\\hadoop-demo\\target\\hadoop-demo-1.0-SNAPSHOT.jar# 以下两条配置保证了windows->linux的兼容性问题解决mapred.remote.os=Linuxmapreduce.app-submission.cross-platform=true
接下来运行成功通过yarn发布,并可在yarn_host:8088地址查看相应的job处理记录
阅读全文
0 0
- windows下通过IDE发布job到Hadoop Linux集群
- Win7下eclipse提交Job到hadoop集群
- linux 系统 eclipse提交job到hadoop集群上的一些坑
- windows下eclipse远程连接linux上的hadoop集群
- windows下搭建hadoop集群
- hadoop学习(三)hadoop集群从windows移植到linux中问题与技巧
- Linux下搭建Hadoop集群
- Linux下搭建Hadoop集群
- Linux下Hadoop集群配置
- hadoop2.7.1 Intellj idea 远程提交job到linux集群
- windows下hadoop集群的配置
- Windows下虚拟机搭建Hadoop集群
- Windows下安装Cygwin配置Hadoop集群
- Spark应用(app jar)发布到Hadoop集群的过程
- windows下通过tomcat搭建集群
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- Windows下的eclipse(with Hadoop Plug-in)向Linux集群提交MapReduce任务
- 时间规模为nlogn的数列逆序对数量计算
- 第二章 SQL命令参考-REASSIGN OWNED
- Android SDK在线 国内源
- 6.1(2)
- oracle时间函数
- windows下通过IDE发布job到Hadoop Linux集群
- leetcode: 21. Merge Two Sorted Lists
- Python类的重写和私有变量
- NUMA架构的CPU – 你真的用好了么?
- Q
- bootstrap之input-group&label样式
- webpack-dev-server 使用 hash
- 操作系统互斥进程问题
- [Lintcode] #135 数字组合