Ubuntu 14.04 配置 Hadoop 2.7.2 可能遇到的问题

来源:互联网 发布:linux服务器架设 鸟哥 编辑:程序博客网 时间:2024/04/30 17:48

基本配置方案:

参见:http://dblab.xmu.edu.cn/blog/install-hadoop/

与配置2.6.0无异


可能存在的问题:

1.openssh无法安装:

1)检查网络连接是否正常 firefox是否可以正常打开网页

2)更新apt源 过程较慢 但是为保证之后的顺利进行 请务必进行此操作

sudo apt-get update


2. 64bit的Linux系统安装了32bit Hadoop:

1)出现:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

   本人未作处理,在伪分布式系统下成功运行wordcount示例程序,但在完全分布式系统下是否会有影响未知。

2) 1)中提及的警告不影响配置Eclipse


配置使用Eclipse编译运行Hadoop程序:

参见:http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

与配置2.6.0无异


可能存在的问题:

1.Ubuntu通过软件中心下载Eclipse太慢:

1)可以在其他源下载Eclipse 版本似乎没有限制 Linux 32bit/64bit均可

2)安装过程仍参照教程CentOS的安装方法


2.安装Eclipse后没有显示HDFS:

1)参照教程CentOS的安装方法,在配置完Preference后会出现HDFS


3.创建完WordCount工程后需要指定Main Type

1)安装Run Configurations方法,在Main栏下的 main class 填入 org.apache.hadoop.examples.WordCount即可


3.执行完WordCount工程后 HDFS没有出现output文件夹

1)右击HDFS图标,点击重新连接(reconnect)就会出现output文件夹

2)生成output文件夹后,如果要再次运行程序需要将原有文件夹删除

./bin/hdfs dfs -rm -r output



1 0
原创粉丝点击