hadoop配置及测试中错误归纳
来源:互联网 发布:淘宝如何注册账号 编辑:程序博客网 时间:2024/06/09 21:28
1、util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
环境变量配置出错
.bashrc末尾添加
export JAVA_HOME=/home/will/jdk/jdk1.8
export HADOOP_INSTALL=/solf/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
2、ls: Call From ubuntu/127.0.1.1 to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused;
(1)启动hadoop 守护进程
(2)修改core-site.xml的name属性 hdfs:\\localhost:8020\
3、start-all.sh 中jps 没有namenode
关机后 /tmp 目录下的文件被清空
在 core-site.xml
文件中添加
<property>
<name>hadoop.tmp.dir</name>
<value>/solf/hadoop/hadoop_will</value> //路径为自定义只要不要/tmp同名
</property>
4、配置eclipse map/reduce出错
start-all.sh
在浏览器中访问:localhost:50070 可查看 DFS master中Port的值
Map/Reduce(V2)Master:
Host: localhost
Port:50070
DFS master:勾选Use M/R Master host
Host: localhost
Port: 查询得到的结果
5、Exception in thread "main" java.lang.UnsupportedClassVersionError: com/will/hdtest/WordCount : Unsupported major.minor version 51.0
export JAVA_HOME=/home/will/jdk/jdk1.8 (指向jdk1.8的根目录)
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
6、运行jar包
hadoop jar wordcount.jar com.will.hdtest.WordCount /user/will/wcinput /user/will/wcoutput
报错:wcoutput已经存在
环境变量配置出错
.bashrc末尾添加
export JAVA_HOME=/home/will/jdk/jdk1.8
export HADOOP_INSTALL=/solf/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
2、ls: Call From ubuntu/127.0.1.1 to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused;
(1)启动hadoop 守护进程
(2)修改core-site.xml的name属性 hdfs:\\localhost:8020\
3、start-all.sh 中jps 没有namenode
关机后 /tmp 目录下的文件被清空
在 core-site.xml
文件中添加
<property>
<name>hadoop.tmp.dir</name>
<value>/solf/hadoop/hadoop_will</value> //路径为自定义只要不要/tmp同名
</property>
4、配置eclipse map/reduce出错
start-all.sh
在浏览器中访问:localhost:50070 可查看 DFS master中Port的值
Map/Reduce(V2)Master:
Host: localhost
Port:50070
DFS master:勾选Use M/R Master host
Host: localhost
Port: 查询得到的结果
5、Exception in thread "main" java.lang.UnsupportedClassVersionError: com/will/hdtest/WordCount : Unsupported major.minor version 51.0
编译与运行的jdk版本不匹配。
编译时为jdk1.8 运行时为jdk1.7(我自己的情况)
修改 /etc/profile 中 jdk的版本号,统一使用JDK1.8(参看 .bashrc、/etc/environment 中是否有设置JAVA_HOME 如果有则都修改为JDK1.8的根目录)export JAVA_HOME=/home/will/jdk/jdk1.8 (指向jdk1.8的根目录)
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
6、运行jar包
hadoop jar wordcount.jar com.will.hdtest.WordCount /user/will/wcinput /user/will/wcoutput
报错:wcoutput已经存在
hadoop fs -rm -r /user/will/wcoutput
阅读全文
1 0
- hadoop配置及测试中错误归纳
- hadoop单机安装配置及测试通过
- Hadoop 2.7.3 安装配置及测试
- hadoop配置常见错误及解决办法
- mysql 主从配置错误归纳
- hadoop从零开始--linux常见错误及hadoop配置相关
- Hadoop中HDFS及MapReduce相关测试
- Linux中hadoop安装及配置详解
- Matlab常见错误及解决办法归纳
- Hadoop完全分布式配置及常见错误集合
- Hadoop安装、配置、测试
- hadoop配置错误
- docker中安装hadoop过程及错误解决
- hadoop中配置Hbase和Hive(oracle)错误
- 我在hadoop+zookeeper+hbase配置中出现的错误
- Hadoop安装及配置
- Hadoop安装及配置
- hadoop配置及启动
- python实现房价预测,采用回归和随机梯度下降法
- socket之TCP多线程客户服务器编程
- Joseph
- org.springframework.beans.factory.BeanCreationException: Error creating bean with name
- 集成模型python实现,随机森林,梯度提升决策树
- hadoop配置及测试中错误归纳
- 浅谈设计模式--单例模式(Singleton Pattern)
- ZOJ--1101:Gamblers(二分查找)
- MPI实现psrs
- Linux下的SVN服务器搭建
- python中利用决策树实现泰坦尼克死亡和生还人生的分类
- python中的sklearn.feature_extraction dictvectorizer
- 腾讯云64位Centos7.0配置jsp开发环境
- dell 灵越N5110 拆机