Hadoop集群实践-Windows上Eclipse远程Linux服务器集群Hadoop进行程序开发
来源:互联网 发布:java多个list合并 编辑:程序博客网 时间:2024/04/29 20:25
1、资源准备
hadoop-common-2.7.1-bin.zip
hadoop-eclipse-plugin-2.7.3.jar
jdk-8u112-windows-x64.exe
hadoop-2.7.3.tar.gz
2、安装JDK
jdk-8u112-windows-x64.exe双击安装
配置环境变量:
JAVA_HOME:D:\DevApp\Java\jdk1.8.0_112
Path:%JAVA_HOME%\bin
3、安装hadoop-2.7.3.tar.gz
解压hadoop-2.7.3.tar.gz到目录D:\DevApp\hadoop-2.7.3
配置环境变量:
HADOOP_HOME:D:\DevApp\hadoop-2.7.3
Path:%HADOOP_HOME%\bin
4、安装hadoop-common-2.7.1-bin.zip
解压hadoop-common-2.7.1-bin.zip到D:\DevApp\hadoop-2.7.3\hadoop-common-2.7.1-bin
复制D:\DevApp\hadoop-2.7.3\hadoop-common-2.7.1-bin\bin文件夹下面所有的文件到D:\DevApp\hadoop-2.7.3\bin目录下
复制D:\DevApp\hadoop-2.7.3\hadoop-common-2.7.1-bin\bin文件夹下面hadoop.dll文件到C:\Windows\System32下
5、hadoop-eclipse-plugin-2.7.3.jar插件安装
复制hadoop-eclipse-plugin-2.7.3.jar到E:\eclipse-jee-mars-2-win32-x86_64\plugins目录下,重启eclipse
配置Hadoop Map/Reduce,Preferences->Hadoop Map/Reduce,如下图填写D:\DevApp\hadoop-2.7.3
6、 配置eclipse中的Map/Reduce Locations,如下图所示:
配置Map/Reduce的主机:192.168.182.129,Port: 50090,参考hdfs-site.xml文件中的dfs.namenode.secondary.http-address端口号
配置DFS的主机:192.168.182.129,Port: 50090,参考core-site.xml文件中的fs.defaultFS端口号
连接测试效果如下图:
配置正确了,就会出现左侧的工程,并能在LocalHadoop下级目录下面创建目录,就表示调试成功。
7、配置hosts
C:\Windows\System32\drivers\etc\hosts”中自定义的主机名:218.195.250.80 master
8、创建测试工程
注意,工程的JAR包必须使用D:\DevApp\hadoop-2.7.3文件夹下面同步的JAR包,千万不能使用版本差异的JAR包
- Hadoop集群实践-Windows上Eclipse远程Linux服务器集群Hadoop进行程序开发
- windows下eclipse远程连接linux上的hadoop集群
- Windows上使用Eclipse远程连接Hadoop进行程序开发
- windows远程链接hadoop集群调试程序
- 【hadoop】Hadoop学习笔记(九):如何在windows上使用eclipse远程连接hadoop进行程序开发
- 如何在windows上使用eclipse远程连接hadoop进行程序开发
- windows上使用eclipse远程连接hadoop进行程序开发没有权限访问问题
- windows上使用eclipse远程连接hadoop进行程序开发没有权限访问问题
- Linux下用Eclipse开发调试Hadoop程序后打jar包后,到Hadoop集群上运行
- Linux下用Eclipse开发调试Hadoop程序后打jar包后,到Hadoop集群上运行
- windows+eclipse 连接hadoop集群
- windows下eclipse远程操作hadoop集群执行mapreduce
- eclipse连接远程hadoop集群开发时0700问题解决方案
- eclipse连接远程hadoop集群开发时报错
- eclipse远程连接hadoop集群配置(windows及linux下)
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- eclipse远程调试Tomcat, Hadoop集群等
- HTML5使用FileReader预览上传的图片文件
- Kotlin-扩展
- 问题描述:开机出现bootmgr is missing,进不去系统
- ionic---开发环境配置
- Angular.js中使用$watch监听模型变化
- Hadoop集群实践-Windows上Eclipse远程Linux服务器集群Hadoop进行程序开发
- Spring事务管理需要注意的点
- Runtime全方位装逼指南
- 算法时间复杂度的计算 [整理]
- Java之三大集合
- Hololens开发入门一:初识Hololens
- 量子计算核心突破!Shor算法实现或使密码成摆设
- VS中如何使用NI控件画图
- jQuery throttle / debounce: Sometimes, less is more!