Hadoop伪分布式配置
来源:互联网 发布:类似全球数据化的小说 编辑:程序博客网 时间:2024/05/06 13:35
135Hadoop2.6.0伪分布式设置
准备工作:把JDK和Hadoop安装包上传到linux系统(oracle(home中的用户)用户的根目录)
hadoop用户安装操作,主要是因为安全性问题,root用户的权限太大,而集群建通信又需要配置SSH免密登录,所以尽量不适用root
Jdk安装
1. 在hadoop用户的根目录,Jdk解压,(hadoop用户操作)
tar -zxvf jdk-8u65-linux-x64.tar.gz
解压完成后,在hadoop用户的根目录有一个jdk1.8.0_65目录
2. 配置环境变量,需要修改/etc/profile文件(root用户操作)
切到root用户,输入su命令
vi /etc/profile
进去编辑器后,输入i,进入vi编辑器的插入模式
在profile文件最后添加
JAVA_HOME=/home/hadoop/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/bin
编辑完成后,按下esc退出插入模式
输入:,这时在左下角有一个冒号的标识
q 退出不保存
wq保存退出
q! 强制退出
3. 把修改的环境变量生效(hadoop用户操作)
执行source /etc/profile
Hadoop安装
1. 在hadoop用户的根目录,解压(hadoop用户操作)
tar -zxvf hadoop-2.6.0.tar.gz
解压完成在hadoop用户的根目录下有一个hadoop-2.6.0目录
2. 修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)
export JAVA_HOME=/home/hadoop(lihang)/jdk1.8.0_65
3. 修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop(主机名):9000</value>
</property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop(主机名):9000</value>
</property>
4. 修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加(hadoop用户操作)
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/lihang/appdata/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/lihang/appdata/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<name>dfs.namenode.name.dir</name>
<value>/home/lihang/appdata/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/lihang/appdata/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5. 修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml(hadoop用户操作)
这个文件没有,需要复制一份
Cp etc/hadoop/mapred-site.xml.templateetc /hadoop/mapred-site.xml
添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6. 修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
7. 修改/etc/hosts文件(root用户操作),添加:ip主机名称
192.168.44.199 oracle
8. 格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
bin/hdfs namenode –format
注意:格式化只能操作一次,如果因为某种原因,集群不能用,需要再次格式化,需要把上一次格式化的信息删除,在/tmp目录里执行rm–rf *
格式化之后这个目录自己就出来了!
9. 启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
启动集群:sbin/start-all.sh需要输入四次当前用户的密码(通过配置ssh互信解决)
启动后,在命令行输入jps有以下输出
[oracle@oracle hadoop-2.6.0]$ jps
32033 Jps
31718 SecondaryNameNode
31528 DataNode
31852 ResourceManager
31437 NameNode
31949 NodeManager
32033 Jps
31718 SecondaryNameNode
31528 DataNode
31852 ResourceManager
31437 NameNode
31949 NodeManager
可能是因为第一次启动吧,我第二次启动就没输入任何东西
关闭集群:sbin/stop-all.sh需要输入四次当前用户的密码(通过配置ssh互信解决)
SSH互信配置(hadoop用户操作)
rsa加密方法,公钥和私钥
1. 生成公钥和私钥
在命令行执行ssh-keygen,然后回车,然后会提示输入内容,什么都不用写,一路回车
在oracle用户根目录下,有一个.ssh目录
id_rsa 私钥
id_rsa.pub 公钥
known_hosts 通过SSH链接到本主机,都会在这里有记录
2. 把公钥给信任的主机(本机)
在命令行输入ssh-copy-id主机名称
ssh-copy-id oracle
复制的过程中需要输入信任主机的密码
3. 验证,在命令行输入:ssh信任主机名称
ssh oracle
如果没有提示输入密码,则配置成功
还原
把hadoop还原到未配置状态,在用户的根目录执行:
1. rm -rf hadoop-2.6.0
2. rm -rf /tmp/*
3.
root用户删除tmp下的
、
下面是微信别人公众号的一个安装方法
http://mp.weixin.qq.com/s/UO049b3hbix4RTe_RypYPw
这个互信又完蛋了,不对,没完蛋,我用root启动的。。。
哎
非root也完蛋了
0 0
- hadoop伪分布式配置
- HADOOP伪分布式配置
- hadoop伪分布式配置
- hadoop伪分布式配置
- hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop 伪分布式配置
- hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop 伪分布式配置
- hadoop伪分布式配置
- 配置伪分布式Hadoop
- 配置 hadoop 伪分布式
- hadoop伪分布式配置
- Hadoop 伪分布式配置
- Hadoop伪分布式配置
- HDU 1394 Minimum Inversion Number( 归并排序 & 线段树 )
- Linear Algebra - Lesson 26. 对称矩阵和正定性
- 解决打开javaweb项目外部资源的问题。
- 数组的索引--原来是字符串类型吗
- Git的安装和使用
- Hadoop伪分布式配置
- 移植rt-thread到esp8266笔记
- 网络OSI和TCP/IP参考模型
- cassandra学习笔记
- 配置session超时时间
- 在VS2013编译FFmpeg遇到的问题
- React学习
- 2016/12/12 杂谈
- Android技术网址搜集大全