ubuntu 14.04搭建Hadoop-2.7.2（完全分布式）

来源：互联网发布：淘宝怎么看店铺的评价编辑：程序博客网时间：2024/06/10 12:36

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。下面我简单说一下，在Ubuntu 14.04上搭建Hadoop（完全分布式）：

开始前准备：

mkdir -p /home/archy/hadoop/tmp/dfsdatanodemkdir -p /home/archy/hadoop/tmp/dfsnamenode

主机IP：

192.168.0.33 master

192.168.0.34 Hadoop2

192.168.0.35 Hadoop3

软件：

Hadoop-2.7.2

jdk1.8.0_91

第一步：配置IP：

传送阵

第二步：配置Java环境（顺便把Hadoop环境也配置了）：

第三步：配置域名解析：

第四步：解压

第五步：配置Hadoop-env.sh

第六步：配置slaves文件：

第七步：配置core-site.xml文件：

vim core-site.xml

<property>        <name>fs.defaultFS</name>        <value>hdfs://master:9000</value></property><property>        <name>hadoop.tmp.dir</name>        <value>file:///home/archy/hadoop/tmp</value></property><property>        <name>hadoop.native.lib</name>        <value>false</value></property>

第八步：配置hdfs-site.xml文件：

vim hdfs-site.xml

<property>        <name>dfs.namenode.name.dir</name>        <value>file:///home/archy/hadoop/tmp/dfsnamenode</value></property><property>        <name>dfs.datanode.data.dir</name>        <value>file:///home/archy/hadoop/tmp/dfsdatanode</value></property><property>        <name>dfs.replication</name>        <value>1</value></property><property>        <name>dfs.permissions</name>        <value>false</value></property>

第九步：配置mapred-site.xml文件：

Hadoop-2.7.2默认没有mapred-site.xml文件，这是需要我们手动创建：

cp mapred-site.xml.template mapred-site.xml

vim  mapred-site.xml

<property>        <name>mapreduce.framework.name</name>        <value>yarn</value></property>

第十步：配置yarn-site.xml文件：

vim yarn-site.xml

<property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value></property><property>        <name>yarn.resourcemanager.hostname</name>        <value>master</value></property>

第十一步：把配置好的Hadoop-2.7.2文件夹复制到其他两个主机上：

第十二步：格式化HDFS:

第十三步：启动：

成功标志：

其他小技术待续！！！

阅读全文

0 0