Hadoop集群安装部署---单节点伪分布式
来源:互联网 发布:新媒体网络部面试问题 编辑:程序博客网 时间:2024/05/22 02:07
一:linux服务器环境配置
1、设置静态ip(manual)
IP地址:192.168.77.70
子网掩码:255.255.255.0
网关:192.168.77.2
2、修改主机名:
vi /etc/sysconfig/network
3、ip地址与主机名对应:
vi /etc/hosts
**在windows下也要修改(如果在win下用到master和slave01):
C:\Windows\System32\drivers\etc
4、关闭图形化界面
vi /etc/inittab
将id:5:initdefault:-----> id:3:initdefault:
5、关闭防火墙
service iptables stop
chkconfig iptables off
二:安装jdk
1、用sftp(alt+p)将jdk传入Linux中
2、解压jdk
mkdir /usr/local/apps 创建安装目录
tar -zxvf jdk-7u65-linux-i586.tar.gz -C /usr/local/apps/ 解压到安装目录中
3、检查jdk是否存在问题
cd /usr/local/apps/jdk1.7.0_65
bin/java -version (java要小写)
4、修改配置文件
cd /usr/local/apps/jdk1.7.0_65
vi /etc/profile
在最后一行后面添加:
export JAVA_HOME=/usr/local/apps/jdk1.7.0_65
export PATH=$PATH:$JAVA_HOME/bin
5、让配置生效
cd /usr/local/apps/jdk1.7.0_65
source /etc/profile
三:安装hadoop
1、用sftp(alt+p)将hadoop传入Linux中
2、解压hadoop
tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/apps/
3、修改配置文件
cd /usr/local/apps/hadoop-2.4.1/etc/hadoop
vi hadoop-env.sh
修改JAVA_HOME=jdk安装目录
vi core-site.xml
<configuration><property><name>fs.default.name</name><!-- namenode的URI --><value>hdfs://192.168.77.70:9000/</value></property><property><name>hadoop.tmp.dir</name><!-- Hadoop的默认临时文件存放路径 --><value>/usr/local/apps/hadoop-2.4.1/tmp/</value></property></configuration>
vi hdfs-site.xml
<configuration><property> <name>dfs.replication</name><!-- 副本个数 --> <value>1</value></property><property> <name>dfs.data.dir</name><!--datanode的工作目录 --> <value>/usr/local/apps/hadoop-2.4.1/tmp/dfs/data</value></property><property> <name>dfs.name.dir</name><!--namenode的工作目录 --> <value>/usr/local/apps/hadoop-2.4.1/tmp/dfs/name</value></property></configuration>
先将mapred-site.xml.template改为mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
然后vi mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
vi yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
vi slaves
(文件 slaves,配置datanode的主机名)
四:启动hadoop
1、格式化namenode
cd /usr/local/apps/hadoop-2.4.1/bin
./hadoop namenode -format
2、无密登录
a、生成密钥对:ssh-keygen
三次回车键(选择默认)
b、ssh-copy-id master
验证是否能无密登录:
登录:ssh master
退出:exit
3、自动化脚本启动
***在任何目录下都能运行下面的命令,需要改下配置文件:
vi /etc/profile
export JAVA_HOME=/usr/local/apps/jdk1.7.0_65
export HADOOP_HOME=/usr/local/apps/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
让配置文件生效:source /etc/profile
启动HDFS服务进程:start-dfs.sh
关闭HDFS服务进程: stop-dfs.sh
启动yarn服务进程:start-yarn.sh
关闭yarn服务进程:stop-yarn.sh
启动所有服务:start-all.sh
关闭所有服务:stop-all.sh
查看服务进程是否启动:jps(Java命令)
HDFS控制平台:
http://ip地址50070/
如,http://192.168.77.70:50070/
Yarn控制平台
ip地址:8080
如,192.168.77.70:8088
- Hadoop集群安装部署---单节点伪分布式
- Hadoop集群安装部署---从单节点的伪分布式扩展为多节点分布式
- Hadoop单节点集群安装(伪分布式安装)
- 安装单节点伪分布式 CDH hadoop 集群
- hadoop单节点安装(伪分布式)
- 单节点伪分布式Hadoop安装
- Hadoop安装-单节点伪集群
- Hadoop伪分布式集群部署
- zookeeper单节点安装和伪分布式集群安装
- 单节点伪分布式hadoop的安装与配置
- Linux下单节点Hadoop伪分布式安装
- hadoop 2.6.0单节点-伪分布式模式安装
- hadoop 2.6.0单节点-伪分布式模式安装
- hadoop 单节点和伪分布式安装配置
- hadoop 2.6.0单节点-伪分布式模式安装
- hadoop 2.6.0单节点-伪分布式模式安装
- hadoop伪分布式集群(单节点与多节点)配置
- 单节点伪分布式Hadoop配置
- 错误:在使用win32应用程序时,一开始运行就中断
- 1031. Hello World for U (20)
- 集成iOS支付宝支付
- Hibernate对象状态管理
- Division UVA
- Hadoop集群安装部署---单节点伪分布式
- JAVA基础学习---- 多态实例(1)
- (转)Log4Net 详解
- 进程间通信-共享内存实例
- 装饰者模式小结
- LINUX系统的VPS里挂载第二个硬盘且重装系统数据也不会丢失
- AndroidStudio链接不上Genymotion模拟器,adb启动失败的解决方法
- inline函数
- []数组_函数调用数组 、指针数组、结构体数组