eclipse搭建hadoop开发环境
来源:互联网 发布:莫言丑化中国知乎 编辑:程序博客网 时间:2024/06/14 15:35
一、安装准备
1、JDK版本:jdk1.7.0
2、hadoop版本:hadoop-1.1.1(hadoop-1.1.1.tar.gz)
3、eclipse版本:Eclipse Java EE IDE for Web Developers.
Version: Juno Service Release 1
4、eclipse与hadoop集成插件:hadoop-eclipse-plugin-1.1.1.jar
5、操作系统:ubuntu Server 12.04
一、在windows上通过WEB查看hadoop相关信息
1.修改C:\WINDOWS\system32\drivers\etc\hosts文件,加入主机名与IP对应关系:
2.访问:http://hadoop-master:50030 可以查看JobTracker的运行状态:
访问:http://hadoop-master:50070 可以查看NameNode及整个分布式文件系统的状态等:
3.安装开发hadoop插件
将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-1.1.1-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下。
需要注意的是插件版本(及后面开发导入的所有jar包)与运行的hadoop一致,否则可能会出现EOFException异常。
重启eclipse,打开windows->open perspective->other->map/reduce可以看到map/reduce开发视图。
4 .设置连接参数
打开windows->show view->other-> map/reduceLocations视图,在点击大象后弹出的对话框(General tab)进行参数的添加:
参数说明如下:
Locationname:任意
map/reduce master:与mapred-site.xml里面mapred.job.tracker设置一致。
DFSmaster:与core-site.xml里fs.default.name设置一致。
Username: 服务器上运行hadoop服务的用户名。
然后是打开“Advanced parameters”设置面板,修改相应参数。上面的参数填写以后,也会反映到这里相应的参数:
主要关注下面几个参数:
fs.defualt.name:与core-site.xml里fs.default.name设置一致。
mapred.job.tracker:与mapred-site.xml里面mapred.job.tracker设置一致。
dfs.replication:与hdfs-site.xml里面的dfs.replication一致。
hadoop.tmp.dir:与core-site.xml里hadoop.tmp.dir设置一致。
hadoop.job.ugi:并不是设置用户名与密码。是用户与组名,所以这里填写hadoop,hadoop。
说明:第一次设置的时候可能是没有hadoop.job.ugi和dfs.replication参数的,不要紧,确认保存。打开Project Explorer中DFSLocations目录,应该可以年看到文件系统中的结构了。但是在/hadoop/mapred/system下却没有查看权限,如下图:
- eclipse搭建hadoop开发环境
- eclipse搭建hadoop开发环境
- Eclipse搭建hadoop开发环境
- hadoop+eclipse开发环境搭建
- hadoop eclipse 开发环境搭建
- eclipse搭建hadoop 0.20.2开发环境.
- win7+Cygwin+Eclipse搭建Hadoop开发环境
- windows下搭建hadoop开发环境(Eclipse)
- hadoop搭建与eclipse开发环境设置
- hadoop搭建与eclipse开发环境设置
- hadoop搭建与eclipse开发环境设置
- windows下搭建hadoop+eclipse开发环境
- Hadoop开发环境搭建-Eclipse插件配置
- hadoop搭建与eclipse开发环境设置
- eclipse+maven搭建hadoop本地开发环境
- linux下eclipse开发hadoop-环境搭建
- win7+Cygwin+Eclipse搭建Hadoop开发环境
- ubuntu14.01.1 搭建eclipse Hadoop开发环境
- 控件移动
- Hetergeneous Parallel Programming编程作业之MP0: Initial Lab Tour with Device Query
- 时间序列作业
- 网络编程
- Android的SDK与ADT不匹配问题 取巧的解决方法
- eclipse搭建hadoop开发环境
- Androi Activity实验1 Intent(意图)
- Hetergeneous Parallel Programming编程作业之MP1: Vector Addition
- 从N个数中选取最大的前10个[堆排序版]
- android 无法安装ApiDemos的问题
- Androi Activity实验2 加法计算器
- 情感化移动应用设计
- DB2 UDF
- 说一个丢人现眼的错误