Eclipse下运行hadoop自带的mapreduce程序--wordcount
来源:互联网 发布:飞鸽网络打印机 双面 编辑:程序博客网 时间:2024/04/30 00:05
参考:
1 http://phz50.iteye.com/blog/932373
2 http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html
1、下载hadoop-0.20.2
2、下载eclipse3.3
3、配置hadoop-0.20.2伪分布式模式
(1)在hadoop-env.sh最后添加:export JAVA_HOME=/usr/local/jdk1.6
(2)hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
-->
</configuration>
(3)core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(4)mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
4、将hadoop-0.20.2自带的eclipse插件拷贝到eclipse/plugins目录下。
cp hadoop-0.20.2/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar eclipse/plugins
5、打开eclipse窗口
需要注意的问题是,hadoop可能是以root权限安装的,运行eclipse的时候可能是普通权限,这会导致eclipse运行hadoop程序的时候,不能访问hdfs文件系统。解决方法有二:
1)放开该目录(/user/root)的权限: bin/hadoop fs -chmod 777 /user/root
2)修改hadoop配置文件:conf/hdfs-core.xml
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>
if"true",enable permission checking in HDFS.if"false",permission checking is turned off,but all other behavior is unchanged.Switching from one parameter value to the other does not change the mode,owner or group of files or directories .
</description>
</property>
修改完,重启hadoop生效。
3、eclipse设置main的参数时,目录写完整
4、先在终端,bin/start-all.sh,再在eclipse里面run as hadoop
- Eclipse下运行hadoop自带的mapreduce程序--wordcount
- linux下eclipse上运行hadoop自带wordcount程序
- 在linux下eclipse中运行hadoop自带的WordCount例子出现的两个错误
- hadoop自带的WordCount程序
- 在windows7下Eclipse中运行Hadoop的WordCount程序
- hadoop基础----hadoop实战(三)-----hadoop运行MapReduce---对单词进行统计--经典的自带例子wordcount
- hadoop学习之HDFS(2.1):linux下eclipse中配置hadoop-mapreduce开发环境并运行WordCount.java程序
- hadoop自带例子wordcount的具体运行步骤
- 运行hadoop自带的案例—wordcount
- 在hadoop中运行自带例子wordcount的步骤
- hadoop自带例子wordcount的具体运行步骤
- Hadoop Eclipse下运行WordCount
- 运行hadoop自带wordcount例子
- Win7下的eclipse运行mapreduce程序报WordCount$TokenizerMapper not found
- 对Hadoop自带程序WordCount的解读(转载,自用)
- CentOS6.8下Hadoop2.7.2怎么运行自带的wordcount程序
- eclipse 环境下运行hadoop-2.5.1wordcount程序
- Hadoop自带WordCount.java程序
- cocos2d-x随机数
- 华为迷宫算法c++完整实现
- 数据存储和查找
- 《C语言参悟之旅》-读书笔记(四)
- 2013元旦快乐--30自制操作系统之第1天--从计算机结构到汇编程序入门(先熟悉熟悉)
- Eclipse下运行hadoop自带的mapreduce程序--wordcount
- [Perl语法篇] 数据类型:标量$Scalar
- Contiki:RDC &CoAP
- FFmpeg和SDL教程(三)播放声音
- 充分理解Socket---简单的聊天程序的代码
- 2013,新年新气象!
- 单元最短路径
- 程序员面试题精选100题(44)-数值的整数次方
- ubuntu连接宽带