Hadoop2.x环境搭建3
来源:互联网 发布:宣传海报设计app软件 编辑:程序博客网 时间:2024/06/11 01:54
安装hadoop: hadoop-2.7.3.tar.gz
1、解压hadoop
mkdir /usr/hadoop
tar zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop/
2、修改配置文件 #hadoop2.x的配置文件在/usr/hadoop/etc/hadoop目录下,1.x的配置文件在conf文件夹
cd hadoop-2.7.3
mkdir tmp #在hadoop-2.7.3下创建目录tmp
进入到cd etc/hadoop/
需要修改的配置文件:
(1) hadoop -env.sh #在文件第27行修改
export JAVA_HOME=/usr/java/jdk1.8.0_11
(2) 修改master ,slaves
vim masters
master
vim slaves
slave1
slave2
(3) core-site.xml
<configuration> <!--指定Hadoop运行时产生文件的存储路径 --> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/hadoop-2.7.3/tmp</value> </property> <!--指定HDFS老大(namenode)的通信地址--> <property> <name>fs.default.name</name> <value>hdfs://192.168.222.100:9000</value> </property></configuration>
(4) mapred-site.xml.template
需要重命名mv mapred-site.xml.template mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>http://192.168.222.100:9001</value> </property></configuration>
(5)hdfs-site.xml
<configuration> <--设置hdfs副本数量--> <property> <name>dfs.replication</name> <value>3</value> </property></configuration>
3、将hadoop添加到环境变量
vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_11export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source ~/.bashrc
4、把hadoop远程拷贝到slave1,slave2中scp -rp 192.168.222.128:/usr/hadoop/
5、格式化HDFS(namenode)
第一次使用要格式化
hdfs namenode -format
6、启动集群
cd sbin
start-all.sh 过时, 使用 start-dfs.sh ; start-yarn.sh
验证:jps
7、访问
HDFS:http://192.168.222.100:50070
Yarn:http://192.168.222.100:8088
注:
通过hostname直接登录master与slave:
vim /etc/hosts
添加:
192.168.222.100 master
192.168.222.128 slave1
192.168.222.129 slave2
永久修改主机名修改 vim /etc/hostname(立即生效hostname master)
在各台机器通过ssh hostname(master,slave1,slave2)可登录到其他机器上。
伪分布式搭建:
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html
http://www.cnblogs.com/ganchuanpu/p/6079650.html
- Hadoop2.x环境搭建3
- Hadoop2.x环境搭建1
- Hadoop2.x环境搭建2
- Hadoop2.x伪分布环境搭建
- 基于centos的Hadoop2.x环境搭建
- hadoop2.x完全分布式环境搭建
- Hadoop2.x伪分布式环境搭建
- hadoop2.x 伪分布式环境搭建
- hadoop2.x完全分布式环境搭建
- Hadoop2.x.x伪分布式环境搭建、测试
- 从0开始搭建hadoop2.X.X集群环境
- win7 eclipse连接hadoop2.x开发环境搭建
- Ubuntu16 搭建 Hadoop2.x HDFS 源码测试环境
- (配置Hadoop2.x 环境搭建)完全分布式集群
- hadoop学习(三)----hadoop2.x完全分布式环境搭建
- Hadoop2.x搭建步骤
- hadoop2.x 环境配置
- windows7+eclipse+hadoop2.3开发环境搭建
- CF2017.10.5 D. Huge Strings
- getline()函数详解
- 【洛谷】P3368 【模板】树状数组 2 树状数组区间修改、单点查询
- JAVA提高篇(9)--FileInputStream和FileOutputStream
- C#--WinForm查询模块--优化用户体验
- Hadoop2.x环境搭建3
- 凯撒大帝 (二分)
- 二分查找(java实现)
- __FILE__ 与 $_SERVER['SCRIPT_FILENAME']的区别
- Qt套接字缓冲区数据如何清空?
- 线程安全
- mybatis关联查询的的resultMap 用法
- 原声js实现无缝滚动
- 机器学习中的数学(8)——卡方检验原理及应用