linux下搭建hadoop集群问题备忘录
来源:互联网 发布:c语言编程水仙花数 编辑:程序博客网 时间:2024/04/28 21:47
1.如何让/etc/profile文件修改后立即生效
方法1:
让/etc/profile文件修改后立即生效 ,可以使用如下命令:
# . /etc/profile
注意: . 和 /etc/profile 有空格
方法2:
让/etc/profile文件修改后立即生效 ,可以使用如下命令:
# source /etc/profile
附:Linux中source命令的用法
source命令:
source命令也称为“点命令”,也就是一个点符号(.)。source命令通常用于重新执行刚修改的初始化文件,使之立即生效,而不必注销并重新登录。
用法:
source filename 或 . filename
2. ubuntu创建新用户并增加管理员权限
$是普通管员,#是系统管理员,在Ubuntu下,root用户默认是没有密码的,因此也就无法使用(据说是为了安全)。想用root的话,得给root用户设置一个密码:
sudo passwd root
然后登录时用户名输入root,再输入密码就行了。
ubuntu建用户最好用adduser,虽然adduser和useradd是一样的在别的linux糸统下,但是我在ubuntu下用useradd时,并没有创建同名的用户主目录。
例子:adduser user1
这样他就会自动创建用户主目录,创建用户同名的组。
root@ubuntu:~# sudo adduser db
[sudo] password for xx:
输入xx用户的密码,出现如下信息
正在添加用户"db"…
正在添加新组"db" (1006)…
正在添加新用户"db" (1006) 到组"db"…
创建主目录"/home/db"…
正在从"/etc/skel"复制文件…
输入新的 UNIX 口令:
重新输入新的 UNIX 口令:
两次输入db的初始密码,出现的信息如下
passwd: password updated successfully
Changing the user information for db
Enter the new value, or press ENTER for the default
Full Name []:
Room Number []:
Work Phone []:
Home Phone []:
Other []:
Full Name []:等信息一路回车
这个信息是否正确? [Y/n] y
到此,用户添加成功。如果需要让此用户有root权限,执行命令:
root@ubuntu:~# sudo vim /etc/sudoers
修改文件如下:
# User privilege specification
root ALL=(ALL) ALL
db ALL=(ALL) ALL
保存退出,db用户就拥有了root权限。
3. hadoop datanode启动不起来
hadoop datanode启动不起来转自:http://book.51cto.com/art/201110/298602.htm
如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。
无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等相关信息,Hadoop均存有日志文件以供分析。
例如:
NameNode和DataNode的namespaceID不一致,这个错误是很多人在安装时会遇到的,日志信息为:
java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:
NameNode namespaceID = 1307672299; DataNode namespaceID = 389959598
若HDFS一直没有启动,读者可以查询日志,并通过日志进行分析,以上提示信息显示了NameNode和DataNode的namespaceID不一致。
这个问题一般是由于两次或两次以上的格式化NameNode造成的,有两种方法可以解决,第一种方法是删除DataNode的所有资料(及将集群中每个datanode的/hdfs/data/current中的VERSION删掉,然后执行hadoop namenode -format重启集群,错误消失。<推荐>);第二种方法是修改每个DataNode的namespaceID(位于/hdfs/data/current/VERSION文件中)<优先>或修改NameNode的namespaceID(位于/hdfs/name/current/VERSION文件中),使其一致。
下面这两种方法在实际应用中也可能会用到。
1)重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时,一般不必重启整个系统,只须重启这个节点,它会自动连入整个集群。
在坏死的节点上输入如下命令即可:
bin/Hadoop-daemon.sh start DataNode
bin/Hadoop-daemon.sh start jobtracker
2) 动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。
bin/Hadoop-daemon.sh --config ./conf start DataNode
bin/Hadoop-daemon.sh --config ./conf start tasktracker
4. 配置ssh时遇到 Agent admitted failure to sign using the key错误
解決方式 使用 ssh-add 指令将私钥 加进来 (根据个人的密匙命名不同更改 id_rsa)
# ssh-add ~/.ssh/id_rsa
再通过ssh 主机名 就可以实现无密码登录了。
5. 如何修改主机名sudo gedit /etc/hostname
- linux下搭建hadoop集群问题备忘录
- Linux下搭建Hadoop集群
- Linux下搭建Hadoop集群
- Linux下搭建hadoop集群环境
- Linux下安装搭建Hadoop集群
- 在Linux下搭建Hadoop分布式集群
- Linux下Hadoop集群的搭建(3)—集群模式
- Linux下Hadoop集群的搭建(2)—单机模式
- Linux环境下使用Docker搭建Hadoop分布式集群
- Linux下搭建Hadoop集群(Centos7.0)
- VM下搭建hadoop集群
- windows下搭建hadoop集群
- Ubuntu下搭建hadoop集群
- hadoop集群搭建问题集锦
- Hadoop集群搭建中的问题
- redis集群搭建-备忘录
- Linux下Hadoop集群配置
- Linux下Hadoop集群的搭建(1)—重新编译Hadoop
- Uva 10048 - Audiophobia
- 第五周上级项目四
- Linux kernel探究IO Scheduling
- jquery $.ajax各个事件执行顺序
- 在CentOS 6.3上安装Windchill PDMLink 10.1
- linux下搭建hadoop集群问题备忘录
- hadoop0.20.1安装部署
- 设计模式-----桥接模式(Bridge Pattern)
- Android中Bitmap和Drawable
- 自旋锁(spinlock) 解释得经典,透彻
- sublime text ubuntu 安装
- 不要挡住我的阳光(第欧根尼)
- Google收录一个新网站要花多久?
- 实模式和保护模式下的地址计算方式