Hadoop完全伪分布式搭建
来源:互联网 发布:四川广电网络投诉电话 编辑:程序博客网 时间:2024/06/02 18:58
(比较简单在这里就不逐步截图了)
Hadoop单机以及伪分布式和完全分布式的环境搭建详细步骤
一、首先确保网络,确保虚拟机能ping通本机电脑。
以下为IP配置文件
vi /etc/sysconfig/network-scripts/ifcfg-eth0
添加以下内容:(有则修改)
IPADDR=192.168.1.163NETMASK=255.255.255.0GATEWAY=192.168.1.1ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=static
注意:1、配置完成后使用命令 service network restart(让ip配置生效)
2、使用命令service iptables stop 关闭防火墙
二、配置yum(每台机器单独配置)
由于有些系统安装时未安装SSH,导致不能无密登陆对方主机,需做一下操作。以下为安装过程。
vi /etc/yum.repos.d/rhel-source.repo
[Base]name=basebaseurl=file:///mnt/Serverenabled=1gpgcheck=0gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
注意:在打开文件的时候gpgkey字段已经存在,千万不要修改。且Centos与红帽系统的linux的repo配置有所不同。
使用命令mount /dev/cdrom /mnt(挂在光盘)
mount: block device /dev/xvdd is write-protected, mounting read-only(以上命令系统显示内容)
安装openssh
[root@instsvr1 Packages]# rpm -ivh ftp* yum install openssh* 安装openssh的所有文件(为了能够无秘登陆)
如果没有iso安装光盘,需单独下载ftp*及openssh*文件。且文件的结尾是rpm文件。
三.搭建环境准备完毕,Hadoop(HA)集群的搭建
3.1 集群内配置域名解析,配置好后能达到ping mast2或ping mast3能到达对方主机,配置详细
vi /etc/hosts
192.168.1.246 master
且需修改本主机名:(每个主机名要根据对应的IP地址修改HOSTNAME)
vi /etc/sysconfig/network
NETWORKING=yesHOSTNAME=master
3.2 配置ntp时间同步(确保所有主机时间一致,每台都用相同的配置)
安装yum install ntp* -y ntp服务(纯净的Linux使没有安装这些服务的)
[root@mast1 ~]# vi /etc/ntp.conf server 192.168.1.246
让修改时间生效:
[root@mast1 ~]# /etc/init.d/ntpd restart Starting ntpd: [ OK ]
让同步时间开机启动:
[root@mast1 ~]# chkconfig ntpd on
查看ntpd的list
[root@mast1 ~]# chkconfig --list ntpd ntpd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
3.3 配置SSH免密码登录
生成秘钥:(直接四步回车)
[root@mast1 ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair. Enter file in which to save the key (/home/grid/.ssh/id_rsa): Created directory '/home/grid/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/grid/.ssh/id_rsa. Your public key has been saved in /home/grid/.ssh/id_rsa.pub. The key fingerprint is: d1:9d:45:e6:7c:a8:b0:8f:4d:f0:70:a5:14:b5:d6:e5 grid@dehadp01 The key's randomart image is: +--[ RSA 2048]----+ | o+* .| | . o O =.| | . = = * E| | . B o . | | S . + | | = | | . o | | | | | +-----------------+
配置秘钥完成后,把公钥发送到所有的对方主机。
[root@mast1 ~]$ ssh-copy-id -i /root/.ssh/id_rsa.pub master
完成后用:ssh+主机名验证是否可以直接登录,不提示输入密码。
3.4 安装jdk
安装jdk,配置环境变量,版本不要太低,最好用JDK.1.7.0以后的产品。
[root@mast1 ~]# tar zxvf jdk.1.7.tar.gz -C /usr/
配置环境变量:(以下包含了JDK、hadoop、sqoop、flume的home路径)
[root@mast1 ~]$ vi .bash_profile export JAVA_HOME=/usr/jdk1.7.0_25export PATH=$PATH:$JAVA_HOME/bin:
1.伪分布式基本运行环境与单机环境一致
2.Hadoop 伪分布式需要修改配置文件 core-site.xml 和 hdfs-site.xml 等。
(1)cd Hadoop安装路径/etc/hadoop 然后 ls
(2)需要编辑的文件有 hadoop-env.sh core-site.xml
hdfs-site.xml (mapred-site.xml.template)
yarn-site.xml slaves
(3) vi hadoop-env.sh 把java环境写成绝对路径,以免没有配置JAVA_HOME的时候,找不到jdk
(4)配置core-site.xml 配置Common组件的属性
<configuration><property> <name>hadoop.tmp.dir</name> <value>file:///usr/hadoop/hadoop-2.6.0/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property><property> <name>fs.checkpoint.period</name> <value>3600</value></property></configuration>
(5)配置 hdfs-site.xml
<configuration><property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/data</value> </property></configuration>
(6)配置文件 mapred-site.xml(需要先将原本的文件mapred-site.xml.template cp mapred-site.xml,然后更改mapred-site.xml即可 )
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
(7)接着修改配置文件 yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> </configuration>
3.配置完成后
(1)执行Namenode的格式化操作
bin/hdfs namenode -format
(2)开启 NameNode 和 DataNode 守护进程
sbin/start-dfs.sh
(3)开启yarn运算框架sbin/start-yarn.sh
出现jps SecondaryNamenode DataNode Namenode ResourceManager NodeManager 说明启动yarn运算框架成功
(4)成功启动后,可以访问 Web 界面 http://master:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
(5)启动 YARN 可以通过 Web 界面查看任务的运行情况:http://localhost:8088/查看
- Hadoop完全伪分布式搭建
- hadoop的伪分布式以及完全分布式的搭建
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- hadoop 伪分布式搭建
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- Hadoop伪分布式搭建
- Hadoop伪分布式搭建
- hadoop伪分布式搭建
- Hadoop伪分布式搭建
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- Hadoop伪分布式搭建
- 搭建hadoop伪分布式
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- 搭建hadoop伪分布式
- SQL SERVER不能修改表的解决方法(增加字段、修改字段名)
- JavaScript获取数组中最大(最小)值
- shell学习笔记二
- React Native安卓微信分享集成
- linux下查看文件编码及修改编码
- Hadoop完全伪分布式搭建
- Android 系统 Settings 启动流程详解
- SpringSecurity学习【命名空间初体验】
- Looper源码细说
- 责任链模式
- 【Spring】Spring Framework Reference Documentation中文版37
- 【未写完】windows64位 php安装ZBarCodeImage二维码识别
- 项目小总结
- Kinect虚拟试衣间开发(5)-动作识别