hadoop学习问题记录
来源:互联网 发布:历史非农数据 编辑:程序博客网 时间:2024/05/18 09:13
2013-05-14.2
===========
今天启动bin/start-all.sh,发现namenode又没有起来,看来不是非法关机的原因。查了一下logs/hadoop-<user>-namenode-ubuntu.log的日志,再结合google,发现是因为dfs存储目录默认是在/tmp下,而系统重启可能会清理这个目录中的某些内容,在conf/hdfs-site.xml中指定如下属性就可以了:
<property> <name>dfs.name.dir</name> <value>/hadoopstorage/name/</value></property><property> <name>dfs.data.dir</name> <value>/hadoopstorage/data/</value></property>
注意 /hadoopstorage 目录的所有者需要是运行 hadoop 的用户,如果所有者是root可能会不能访问。2013-05-13.1
===========
启动bin/start-all.sh总是要输入3次linux用户的密码,很烦,原来是因为SSH没有配成无密码方式,原理是要把master机的公钥(默认在~/.ssh/id_rsa.pub)拷贝到target机的~/.ssh/目录,并改名为authorized_keys,用pseudo模式则在同一个目录中拷贝到authorized_keys这个名字就行了,然后就不需要输入多次密码了。如果用
$ ssh localhost
命令验证的话,就是无需输入密码即可连接。
今天启动hadoop后执行
$ bin/hadoop namenode -format
命令居然报错,说连不上localhost:9000,用 jps 命令一看,namenode进程没起来,用
$ bin/hadoop namenode -format
重新格式化就好了,真是莫名其妙,难道我昨天强制关机了?不记得有过这种事啊。
2013-05-12.7============
ubuntu安装OpenSSH Server:
sudo apt-get install openssh-server
- hadoop学习问题记录
- Hadoop学习问题记录
- Hadoop使用问题记录
- Hadoop问题记录
- spark-hadoop问题记录
- Hadoop学习知识点记录
- Hadoop学习记录-1
- Hadoop学习记录-2
- Hadoop学习记录-3
- Hadoop学习记录-Hive
- Hadoop实战学习记录
- Hadoop学习-错误记录
- 【hadoop学习记录】
- hadoop学习记录
- 初识Hadoop学习记录
- hadoop 学习记录
- hadoop学习过程中遇到的问题记录
- hadoop遇到的问题记录
- 75道逻辑思维题
- 数据的排序:(order by)
- 关于PM的几个问题
- 常用的sql函数
- CF 179(div2) C(线段树 || 扫描法 )
- hadoop学习问题记录
- 子查询
- ]把刽子手曾国藩吹捧为中兴名臣意在何为
- c++程序设计原理与实践---(2)错误?错误!
- “十天一本书”之八——《思路决定出路》与马云卸任的一点感想
- c++反射机制的实现(完整代码,相当靠谱)
- 马云:信任让我成功 让我有了今天(演讲全文)
- 从image/x-png谈文件上传中的ContentType属性
- java中的内部类总结