ubuntu下hadoop安装过程中遇到的问题
来源:互联网 发布:服装设计用什么软件 编辑:程序博客网 时间:2024/06/05 19:58
如题, 这并不是一个教程, 只是收集了一些问题。
教程可以参考 http://blog.csdn.net/wangjia55/article/details/53160679
感谢网上的资源, 经过了几天终于配好了, 先是在windows上折腾, 但是datanode和namenode就是启动不了,然后, ubuntu下很快就弄好了, 问题还是出现了不少, 罗列一下:
首先 关闭防火墙, 关闭防火墙, 关闭防火墙。
问题1:jdk环境变量的设置
首先在/etc/profile中设置了环境变量 但是hadoop安装后 hadoop-env.sh 文件内也要设置一下
然后还有一个不明白的 就是我做了一个软链接 把另一个用户文件夹下的jdk安装包连接到/usr/lib/jvm下了 然后那个用户文件夹下的Jdk就真的到usr/lib/jvm下了, 但是我执行$echo JAVA_HOME 显示的是用户文件夹下的路径 但是profile写软链接的时候只有root下java才好使, 改成用户文件夹下的所有用户才都能用 而hadoop-env.sh 文件内又必须得写软链接 否则hadoop不能用
毕竟没学过Linux 我很方啊 感觉无从百度
反正不管多矛盾 我的Hadoop现在都能用了 哈哈哈哈
问题2:运行start-all.sh时,datanode没有启动, 其他的都启动了
解决办法: 到hadoop/logs/hadoop-hadoop-datanode-b2utyyomi-VPCEG18FG.log 中查看日志
发现namenode cluster ID 和 datanode cluster ID不一样
将datanode cluster ID改成和namenode cluster ID一样就可以了, 方法是到存储临时文件的地方 我的是/hadoop/tmp/dfs/data/version 把version里面的内容改一下就好了。
问题3:上传文件到hdfs中时
bin/hdfs dfs -mkdir /test1/
mkdir: Call From b2utyyomi-VPCEG18FG/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
解决办法: 我在这之前运行了stop-all.sh 你说搞笑不搞笑 简单粗暴地运行start-all.sh即可
问题4:搞ssh服务时, 我也弄了root用户, 但是一直明明密码是对的, 就是一直Permission denied.
解决办法:编辑/etc/ssh/sshd_config
找到Authentication
加上PermitRootLogin yes
保存
ssh localhost
输个密码
登录成功
- ubuntu下hadoop安装过程中遇到的问题
- ubuntu下vsftpd安装过程中遇到的问题总结
- Hadoop安装过程中遇到的一些问题
- hadoop安装过程中所遇到的问题
- Ubuntu下安装scrapy遇到的问题及解决过程
- hadoop安装过程遇到的问题
- Ubuntu麒麟版安装过程中遇到的问题
- 在虚拟机上安装UBUNTU过程中遇到的问题
- hadoop启动过程中遇到的问题
- hadoop 搭建过程中遇到的问题
- hadoop,hbase安装过程中遇到问题及解决过程!
- 安装Ubuntu过程及遇到的问题
- Ubuntu探究过程中遇到的问题
- Ubuntu使用过程中遇到的问题
- 安装Hadoop 2.7.3的过程中遇到的一些问题及解决方法。
- ubuntu下安装mysql遇到的问题
- ubuntu下安装bochs遇到的问题
- ubuntu 下安装 软件遇到的问题
- 万年历
- Javascript中的索引,谈谈自己对索引的见解
- Numpy常用函数
- listview入门
- LeetCode
- ubuntu下hadoop安装过程中遇到的问题
- 分享一个不错的文章
- 比特币客户端Electrum使用介绍
- 三.使用连接池操作Redis
- Kotlin入门-HelloKotlin
- Codeforces Round #424 (Div. 2) E. Cards Sorting(思维 树状数组)
- 组装MySQL执行文件(重定向示例)
- Ubuntu桌面通知
- 一个前端攻城狮的全栈之路第五弹:mongoose简单使用(实现对mongodb的增、删、改、查)