Hadoop开发环境配置(伪分布模式)
来源:互联网 发布:身份证借别人开淘宝 编辑:程序博客网 时间:2024/05/18 16:35
Hadoop开发环境
安装插件
0.20.0下原始的eclispe插件无法使用,需要下载网上改造过的:
hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
copy到eclispe插件目录,然后重启eclispe。
PS:这里出现一个问题,发现在eclispe3.7下插件不会加载,最终删除旧的eclispe,使用新解压的文件解决,可以将旧eclispe插件目录下的文件COPY到新目录。同样可以使用之前的插件。
配置插件环境
配置Map/Reduce Master和DFS Master。里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口
Hadoop配置更改
之前配置的伪分布模式上,采用的localhost的配置,为使eclispe可以访问,需要更改为IP的配置方式,这里需要注意的是:
需要更改以下的内容:
1、 修改 /etc/hosts,删除 127.0.0.1 ,添加本机ip的解析。
[root@localhost~]# cat /etc/hosts
# Do notremove the following line, or various programs
# thatrequire network functionality will fail.
#127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.128.133 localhost.localdomain localhost
2、 修改相关配置文件
[hadoop@localhostconf]$ cat core-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<!--Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.128.133:9000/</value>
</property>
</configuration>
[hadoop@localhostconf]$ cat mapred-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<!--Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.128.133:8021</value>
</property>
</configuration>
3、 另外SSH也需要查看Knowshosts里面是否有IP,否则会出现错误二,可以执行如下,则自动添加
ssh 192.168.128.133
4、 删除原临时目录,重新格式化
hadoop namenode –format
如果不按如上操作,可能会出现下面的错误:
错误一:
2011-08-14 09:44:28,206 INFOorg.apache.hadoop.ipc.Server: IPC Server handler 7 on 9000, calladdBlock(/user/hadoop/test.txt, DFSClient_1170937058) from192.168.128.133:37785: error: java.io.IOException: File /user/hadoop/test.txt could onlybe replicated to 0 nodes, instead of 1
java.io.IOException: File /user/hadoop/test.txt couldonly be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
atorg.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
错误二:
This does not map back to the address - POSSIBLE BREAK-INATTEMPT
Eclispe调试Hadoop配置过程中问题
遇到如下问题:
Cannot run program "chmod": CreateProcess error=2
注意:需要安装Cygwin,并设置环境变量。就算不用本地的环境也必须。
安装Cygwin,并设置Cygwin_HOME/bin到windows Path变量
Cygwin下安装SSH
复制Hadoop文件
拷贝Hadoop项目中的eclipse plugin jar文件到eclipse plugin下
eclipse 在选项设置hadoop home路径,添加hadoop location(主要设置namenode 机器名端口和jobtracker端口即可)
新建map reduce project
从hadoop项目拷贝WordCount.java文件到新的项目
右键WordCount.java,设置运行参数
右键WordCount.java=> run on hadoop
注意:
windows下跑Hadoop Eclipse plugin,无论是连接本地还是远程,Cygwin是必须的安装的,调试远程不需要配置ssh。
每个hadoop版本必须和Hadoop Eclipse plugin一直否则无法进行连接和执行程序
--------------------------------------------------------------------------------------------------------------------
作者:CNZQS|JesseZhang 个人博客:CNZQS(http://www.cnzqs.com)
版权声明:除非注明,文章均为原创,可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明
--------------------------------------------------------------------------------------------------------------------
- Hadoop开发环境配置(伪分布模式)
- hadoop伪分布模式配置
- Hadoop配置伪分布模式
- 配置hadoop伪分布模式
- Hadoop伪分布模式配置
- Hadoop伪分布配置与基于Eclipse开发环境搭建
- hadoop 2.2.0安装开发环境(单机伪分布模式)
- 虚拟机环境Hadoop伪分布模式部署
- Linux环境搭建Hadoop伪分布模式
- hadoop伪分布模式环境安装
- hadoop的伪分布环境配置(2.5.2)
- Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下)
- hadoop学习笔记(2) 伪分布模式配置
- hadoop学习笔记(2) 伪分布模式配置
- hadoop学习笔记(2)伪分布模式配置
- hadoop学习笔记(2) 伪分布模式配置
- hadoop学习笔记(2) 伪分布模式配置
- ubuntu下hadoop搭建(2) 伪分布模式配置
- 四、多态、动态类型和动态绑定
- Silverlight绘图应用
- Hadoop安装总结
- Java ClassLoader
- bus driver device data type relation
- Hadoop开发环境配置(伪分布模式)
- Webkit文本资源编码选择
- 路由应用-使用路由实现负载流量均衡
- Asp.Net 网站优化 数据库优化措施 使用主从库(上)
- 常用正则表达式小结
- 写在CSDN第一篇
- 我以后不会在这个网站更新文章了。
- 有感之博客初见
- Java中用HttpsURLConnection访问Https链接的问题