Hadoop学习笔记-2.Linux上搭建hadoop伪分布式
来源:互联网 发布:网络协议工程 pdf 编辑:程序博客网 时间:2024/06/04 23:27
Hadoop学习笔记-2.Linux上搭建hadoop伪分布式
一;Linux环境准备
介绍:在虚拟机下运行两个Linux系统(3个表示笔记本带不动)
1:修改主机名
vim /etc/sysconfig/network(Ubuntu下 : /etc/hostname )
此处本人两个系统分别修改成了hadoop1和hadoop2.
2:修改IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0 (Ubuntu下 : vim /etc/network/interfaces )
最好先查看Windows下的ip地址,然后设置成同一个段的。
hadoop1:
auto eth0
iface eth0 inet static
address 10.108.170.190
gateway 10.108.170.1 #这个地址你要确认下 网关是不是这个地址
netmask 255.255.255.0
network 10.108.170.0
broadcast 10.108.170.255
iface eth0 inet static
address 10.108.170.190
gateway 10.108.170.1 #这个地址你要确认下 网关是不是这个地址
netmask 255.255.255.0
network 10.108.170.0
broadcast 10.108.170.255
hadoop2:
auto eth0
iface eth0 inet static
address 10.108.170.191
gateway 10.108.170.1 #这个地址你要确认下 网关是不是这个地址
netmask 255.255.255.0
network 10.108.170.0
broadcast 10.108.170.255
iface eth0 inet static
address 10.108.170.191
gateway 10.108.170.1 #这个地址你要确认下 网关是不是这个地址
netmask 255.255.255.0
network 10.108.170.0
broadcast 10.108.170.255
3:修改主机名和IP的映射关系
vim /etc/hosts
10.108.170.190 hadoop1
10.108.170.191 hadoop2
10.108.170.191 hadoop2
4:关闭防火墙(Ubuntu ufw disable)
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
5:重启Linux
二:安装jdk
2.1上传
2.2解压jdk
#创建文件夹
mkdir /usr/java
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/
mkdir /usr/java
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/
2.3 将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_55
export PATH=$PATH:$JAVA_HOME/bin
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_55
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
source /etc/profile
三:安装hadoop2.6
hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件
3.1配置hadoop
第一个:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65
第二个:core-site.xml
<!-- 制定HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://itcast01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/itcast/hadoop-2.4.1/tmp</value>
</property>
第三个:hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65
第二个:core-site.xml
<!-- 制定HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://itcast01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/itcast/hadoop-2.4.1/tmp</value>
</property>
第三个:hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
这一步别忘了:mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>itcast01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>itcast01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
第六个:slaves
将集群中从机的主机名写入、
3.2将hadoop添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.6.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
3.3格式化namenode(是对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)
3.4配置权限
因为只要hadoop的文件互相相互访问,需要将hadoop的文件夹设置权限,否则会提醒deny。。最后将所运行的用户设置所有权限
可以为一个普通用户设置sodo权限。(/etc/sudoers)
root ALL=(ALL)ALL
hadoop(你的用户名)ALL=(ALL)ALL
3.5启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
3.6验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
4.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
在各自用户的主目录下进行操作!!,每个节点操作相同。主目录下会id_rsa(私钥)、id_rsa.pub(公钥),一般会复制公钥,
cp id_rsa.pub authorized_keys , 最后把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中,然后就可以免
密码彼此ssh连入。(多个公钥可以复制到authorized_keys 文件中)
设置文件权限(吧.ssh 和 authorized_keys 分别设置成755和600)
1 0
- Hadoop学习笔记-2.Linux上搭建hadoop伪分布式
- Hadoop学习笔记-----伪分布式搭建
- Hadoop学习笔记_伪分布式搭建
- Hadoop学习笔记之Hadoop伪分布式环境搭建
- Hadoop学习笔记一(hadoop伪分布式搭建)
- Hadoop学习笔记(3)-搭建Hadoop伪分布式
- Linux下Hadoop伪分布式环境搭建笔记
- Hadoop学习笔记1:伪分布式环境搭建
- Hadoop学习笔记1:伪分布式环境搭建
- Ubuntu上搭建Hadoop环境(伪分布式)
- unbuntu虚拟机上搭建伪分布式hadoop
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- hadoop 伪分布式搭建
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- Hadoop伪分布式搭建
- Hadoop伪分布式搭建
- 欢迎使用CSDN-markdown编辑器
- linux静态库与动态库
- 15个你必须知道的Facebook开源项目
- Mac OS快速访问系统根目录的几种方法
- 为何选择 Zephyr?
- Hadoop学习笔记-2.Linux上搭建hadoop伪分布式
- 《深入浅出mybatis技术原理与实践》读后心得
- HTTP协议之chunk介绍
- 目标检测 Fast R-CNN 论文笔记
- Mysql之子查询实例(#代表是注释内容)
- FFMPEG中结构体的分析
- 网络协议
- Ubuntu安装MySQL
- 基础算法(零)---距离和相似性度量