ubuntu 16.04搭建hadoop2.7.2(Vmware 12.0搭建完全分布式三台虚拟机)
来源:互联网 发布:典型plc编程实例 编辑:程序博客网 时间:2024/06/08 02:13
此做法无实际意义,只是用来学习搭建过程和了解hadoop相关配置。
版本:Ubuntu16.04 hadoop2.7.2(一台电脑开三台虚拟机完全分布式)
主结点:192.168.150.112 Caxiongyu1
从结点:192.168.150.113 Caixiongyu2
192.168.150.114 Caixiongyu3
添加用户hadoop
为新用户添加权限:
安装JDK及配置环境变量:
/etc/profiel文件
测试安装是否成功:
查看并设置NAT(方便之后设置静态IP):
16.04设置NAT静态IP参考的http://www.linuxdiyf.com/linux/20707.html。
设置静态IP地址,16.04版本的上网查了下网卡名称不是eth0而是ens33:
设置DNS:
测试是否能ping 通外网:
测试能否相互ping 通:
第三台ping 前两台:
第一台ping 后两台:
第二台ping 第一台和第三台:
复制节点到另外两台。并为另外两台设置相应的静态IP地址。
这里我分别设置为192.168.150.112和192.168.150.113和192.168.150.114。
各自修改 /etc/hostsname(如下图是主节点)
修改 /etc/hosts
安装SSH:
建立无密码登录:
cp id_rsa.pub authorized_keys
复制公钥给主机1(两台都同样操作):
改权限后复制到authorized_keys中去:
复制完后
从主结点复制给其他结点:
主机无密码SSH登录:
若SSH只能无密码登陆其中几台,则有可能是因为SSH安装目录的权限问题,用chown改变目录用户权限就可以解决。
下载hadoop2.7.2(在主节点)
tar–zxvf Hadoop-2.7.2解压
修改配置文件hadoop-env.sh、yarn-en.sh、yarn-site.xml、hdfs-site.xml、core-site.xml
在主节点创建文件夹:
/home/hadoop/dfs
/home/hadoop/dfs/data
/home/hadoop/dfs/name
/home/hadoop/tmp
~/桌面/hadoop/logs
~/桌面/Hadoop/slaves文件的配置:
配置hadoop
复制到另外两台:
scp -r /home/hadoop/桌面/hadoopCaixiongyu2:/home/hadoop/桌面
scp -r /home/hadoop/桌面/hadoopCaixiongyu3:/home/hadoop/桌面
然后把环境变量复制过去:
格式化:(期间有许多xml文件容易设置错误,修改一下就成功了。)
./bin/Hadoop namenode -formate
启动hadoop:
在主节点:
从节点:
跑实例:
1.在 hadoop 目录下创建 localfile 目录 ,保存本地的 文件, mkdir localfile
2.创建 文件 word-count 文件 ,输入 文件内容 viword-count
原文件:
3.创建 远程 文件目录: hadoopfs -mkdir test-examples
4.将 word-count3 文件上传
5.执行自带例子:保存在word-count-result4
查看输出结果:
查看集群状态:
- ubuntu 16.04搭建hadoop2.7.2(Vmware 12.0搭建完全分布式三台虚拟机)
- hadoop2.7.1在vmware上3台centos7虚拟机上的完全分布式集群搭建
- Hadoop2.7.2之集群搭建(三台)
- Hadoop2.7.2之集群搭建(三台)
- Hadoop2.7.2集群搭建详解(三台)
- Hadoop2.7.2之集群搭建(三台)
- Hadoop2.7.2集群搭建详解(三台)
- centos7搭建hadoop2.7.2完全分布式集群
- hadoop2.6.0三台服务器分布式集群环境的搭建
- vmware10上三台虚拟机的Hadoop2.2.0集群搭建
- vmware10上三台虚拟机的Hadoop2.5.1集群搭建
- Hadoop2.5.2完全分布式搭建
- hadoop2.4.1完全分布式搭建
- ubuntu-14.04.1+hadoop2.4完全分布式搭建要点
- VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4(完全分布式)
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (1)
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (2)
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (1)
- Docker UCP介绍
- 网络编程-HttpClient、异步http、Gson、多线程下载
- Gradle Android Plugin 使用手册
- Codeforces Round #359 (Div. 2)C. Robbers' watch
- tableview的应用
- ubuntu 16.04搭建hadoop2.7.2(Vmware 12.0搭建完全分布式三台虚拟机)
- 新特性笔记
- 安卓app——脸萌
- 【读书笔记】【C++】类外访问私有数据成员的两种方式
- 在生产环境中安装UCP注意事项
- 我的第一篇博客
- mysql自动备份脚本
- 关于 struts2 的 action 加载两次的原因之一
- ios开发常用的数据结构知识点