[hadoop]hadoop-1.2.1伪分布式安装教程(二)
来源:互联网 发布:centos 6.7 安装教程 编辑:程序博客网 时间:2024/05/16 04:34
1、必备软件
1.1、JDK1.6+
1.2、SSH
2、安装Hadoop
2.1、hadoop-1.2.1.tar.gz文件上传到/root目录
2.2、解压安装到当前目录 tar zxvf hadoop-1.2.1.tar.gz ./
2.3、创建软链接/home/hadoop-1.2
3、配置hadoop
node1是NameNode服务器
node2、node3是DataNode服务器
Secondary NameNode不能与NameNode同一服务器,所以
node2是Secondary NameNode服务器
3.1、进入hadoop-1.2/conf配置文件目录
3.2、配置core-site.xml(NameNode配置)
3.3、配置hdfs-site.xml
3.4、配置slaves(DataNode配置)
3.5、配置masters(Secondary NameNode配置)
3.6、配置hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79
4、设置SSH免密码登陆
4.1 配置/etc/hosts后,可以使用SSH访问node2,node3,node4
4.2、生成秘钥 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
进入.ssh目录
id_dsa公钥(别人使用),id_dsa.pub私钥(自己使用)
4.3、执行命令 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 复制私钥到本地,至此可以免密码访问本地了
执行命令 ssh node1 成功
4.4、设置SSH免密码登陆node2
4.4.1、node2执行 生成秘钥 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 和 本地设置免密码登陆 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4.4.2、拷贝node1的id_dsa.pub到node2
4.4.3、cat ~/id_dsa.pub >> ~/.ssh/authorized_keys 将从node1发送来的id_dsa.pub文件追加到~/.ssh/authorized_keys
node1执行ssh node2 可以免密码登陆了
同上给 node3 加上免登陆
5、启动Hadoop
5.1、node2,node3安装hadoop-1.2.1.tar.gz和建立软链接
tar zxvf hadoop-1.2.1.tar.gzln -sf /root/hadoop-1.2.1 /home/hadoop-1.25.2、要保证node1,node2,node3的/home/hadoop-1.2/conf配置文件相同,在node1执行命令:
cd /home/hadoop-1.2/conf/scp ./* root@node2:/home/hadoop-1.2/conf/scp ./* root@node3:/home/hadoop-1.2/conf/
5.3、启动
bin/hadoop namenode -format
启动hadoop-dfs.sh
bin/start-dfs.sh
注意:如果node2,node3未启动,是防火墙的问题,关闭或设置node1防火墙
关闭防火墙systemctl stop firewalld.service或systemctl stop iptables.service禁止防火墙启动systemctl disable firewalld.service或systemctl enable iptables.serviceCentos7关闭防火墙设置文章:http://blog.csdn.net/alex_bean/article/details/51463369
检查node1:
检查node2:
检查node3:
5.4、访问
设置主机访问
C:\Windows\System32\drivers\etc
192.168.10.1 node1192.168.10.2 node2192.168.10.3 node3192.168.10.4 node4
NameNode - http://node1:50070/
- [hadoop]hadoop-1.2.1伪分布式安装教程(二)
- hadoop 1.2.1 安装步骤 伪分布式
- hadoop-1.2.1伪分布式安装
- hadoop 安装(伪分布式)
- cdh-Hadoop伪分布式安装教程
- Hadoop安装教程_伪分布式配置
- 新手安装hadoop伪分布式教程
- Hadoop伪分布式安装二(MapReduce+Yarn)
- Hadoop 伪分布式安装
- hadoop 伪分布式安装
- Hadoop 伪分布式安装
- HADOOP伪分布式安装
- hadoop伪分布式安装
- Hadoop伪分布式安装
- Hadoop伪分布式安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- 伪分布式Hadoop安装
- 那些关于居中的故事
- Caffe重新编译
- VM虚拟机———以独占方式锁定此配置文件失败
- 集合框架 - HashSet和HashMap实现原理
- nagios安装和配置
- [hadoop]hadoop-1.2.1伪分布式安装教程(二)
- IntelliJ IDEA 导入maven项目
- 使用Android API最佳实践 Retrofit OKHttp GSON
- Android 修改应用包名
- 论ORACLE 9i 的体系图为什么这么金典
- OKHTTP的单例和再封装
- RESTFUL提示java.lang.NoSuchMethodException: Could not find a suitable constructor in
- c++学习之运算符重载
- 如何使用nsenter 进入Docker容器