hadoop搭建之HDFS,MapReduce
来源:互联网 发布:古装剧知乎 编辑:程序博客网 时间:2024/05/18 02:12
hadoop分布式安装(CENTOS7)
001 集群机器
1.修改主机名
hostnamectl set-hostname master
其他机器按照同样的方法修改主机名
2.修改hosts文件
vi /etc/hosts
配置如下:
127.0.0.1 localhost10.13.7.43 master10.13.7.40 slave0110.13.7.41 slave02
010 SSH免密登录
1.测试ssh能否连接到本机
ssh localhost
2.不能连接的话,下载openssh-server
yum -y install openssh-server
3.配置ssh免密登录
ssh-keygen -t rsa -P ""cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4.将master的公钥发送到slave01和slave02,实现ssh免密登录slave01和slave02
scp ~/.ssh/id_rsa.pub root@slave01:~/.ssh/scp ~/.ssh/id_rsa.pub root@slave02:~/.ssh/
5.ssh 连接slave01和slave02,将master的公钥添加到authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
6.测试master是否ssh免密登录slave01和slave02
ssh slave01
011 安装JAVA环境和Hadoop
1.安装openJDK
yum -y install java-1.7.0-openjdk java-1.7.0-openjdk-devel
2.获取JDK安装路径
rpm -ql java-1.7.0-openjdk-devel | grep '/bin/javac'
安装路径:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el7_3.x86_64
3.添加JDK环境变量
vi /etc/profile
添加以下内容:
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el7_3.x86_64觉得路径长的话,可以修改路径名。
4.生效环境变量
source /etc/profile
5.检验配置是否生效
java -version
6.安装hadoop
可以通过清华源https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/下载hadoop,这里用的是hadoop 2.8.0版本,下载完之后,解压文件
tar -zxvf hadoop-2.8.0.tar.gz -C /usr/localcd /usr/local/mv hadoop-2.8.0 hadoop
8.添加hadoop环境变量
vi /etc/profile
添加以下内容
export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8.生效环境变量
source /etc/profile
9.测试配置是否生效
hadoop
100 配置hadoop集群
1.进入hadoop配置文件存放的目录
cd /usr/local/hadoop/etc/hadoop
2.修改slave文件
vi slave
添加DATANODE的主机名
slave01
slave02
3.修改core-site.xml文件
vi core-site.xml
在< configuration>< /configuration>之间添加以下内容
<property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property>
4.修改hdfs-site.xml文件
vi hdfs-site.xml
<property> <name>dfs.replication</name> <value>3</value> </property><property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/tmp/dfs/name</value> </property>
5.复制mapred-site.xml.template,修改文件名为mapred-site.xml,并修改这个文件
cp mapred-site.xml.template mapred-site.xmlvi mapred-site.xml
在< configuration>< /configuration>之间添加以下内容
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
6.修改yarn-site.xml文件
vi yarn-site.xml
在< configuration>< /configuration>之间添加以下内容
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property>
7.将master配置好的hadoop文件夹打包复制到各slave节点,master节点执行
cd /usr/localtar -zcf hadoop.tar.gz ./hadoopscp hadoop.tar.gz slave01:/usr/localscp hadoop.tar.gz slave02:/usr/local
8.创建namenode临时文件存放路径,仅master节点执行
mkdir /usr/local/hadoop/tmp/dfs/name
8.在各slave节点解压hadoop文件
cd /usr/localtar -zxvf hadoop.tar.gz -C /usr/local
101 启动hadoop集群
1.master主机执行启动命令
hdfs namenode -formatstart-all.sh
2.运行后,在master,slave01,slave02 执行jps命令,查看运行情况
maser:
slave01:
slave02:
ok!!!大功告成!!!
- hadoop搭建之HDFS,MapReduce
- Hadoop之MapReduce & HDFS
- Hadoop入门之HDFS与MapReduce
- Hadoop MapReduce之上传文件到HDFS
- Hadoop入门之HDFS与MapReduce
- hadoop hdfs搭建 mapreduce环境搭建 wordcount程序简单注释
- Hadoop环境搭建之二配置启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)
- hadoop hdfs , mapreduce 第一步
- RHadoop搭建(HDFS+MapReduce)
- hadoop之HDFS/MapReduce的java接口简单测试
- Hadoop基本架构之HDFS和MapReduce(上)
- Hadoop学习之HDFS/MapReduce/YARN进程介绍
- hadoop学习笔记 MapReduce + HDFS
- Hadoop,MapReduce,HDFS面试题
- hadoop思维:HDFS和MapReduce
- Hadoop,MapReduce,HDFS面试题
- Hadoop学习:HDFS和MapReduce
- hadoop hdfs环境搭建
- C# 调用opencore-amr1.5
- 【CodeFores 798B】 Mike and strings(模拟+string)
- 一周搜索热点20170503
- Junit单元测试
- Java编码标准
- hadoop搭建之HDFS,MapReduce
- iOS开发
- 帧动画的实现
- 构造(FZU 2111,Min Number)
- Sublime Text3配置在可交互环境下运行python快捷键
- Linux dirname、basename 指令
- ubuntu16.04下chrome安装flash插件
- JAVA阿里规范手册
- 07访问网络文件系统