Ubuntu下Hadoop MapReduce集群搭建以及程序运行
来源:互联网 发布:网络用语安利的意思 编辑:程序博客网 时间:2024/05/20 07:51
记得上学期有门课程就是MapReduce,在顺利通过之后,还是决定好好整理一下,方便日后用到,同时也能跟大家分享交流一下。
具体的步骤和过程如下所示:
一、创建Hadoop用户
<span style="font-size:18px;">~$ sudo addgroup hadoop ~$ sudo adduser --ingroup hadoop hadoop</span>注:创建之后的用户还不具备admin权限,所以要给新创建的用户赋予admin权限
<span style="font-size:18px;">~$ sudo gedit /etc/sudoers# Members of the admin group may gain root privileges%admin ALL=(ALL) ALLhadoop ALL=(ALL) ALL</span>这样,所创建的hadoop用户就拥有admin权限了。
注:以下操作,都是在hadoop用户下完成的。同时,集群中的每一台机器都要创建这样的Hadoop用户,并且都是在这样的用户下进行如下操作。
二、配置好JAVA环境
详细过程可以参考:http://blog.csdn.net/jojozhangju/article/details/19475835
注:每一台机器,都要配置好Java环境。不过,话说这部分我的集群上的集群是1个64位3个32位,而且一个是jdk1.7其它的多是openjdk,结果事实证明,没有问题出现。大家可以根据自己的实际情况进行调整。
三、修改/etc/hosts文件
<span style="font-size:18px;">~$ sudo gedit /etc/hosts </span>
<span style="font-size:18px;">127.0.0.1 localhost192.168.1.102 zhangju-ThinkPad-T420192.168.1.107 jojo-Thinkpad-R60192.168.1.100 ubuntu192.168.1.104 zhaohui-ThinkPad-X230# The following lines are desirable for IPv6 capable hosts::1 ip6-localhost ip6-loopbackfe00::0 ip6-localnetff00::0 ip6-mcastprefixff02::1 ip6-allnodesff02::2 ip6-allrouters</span>集群中的每一台机器,都要填好以上的信息。这里需要强调的是,我们一开始是用无线路由器配置的,后来,证明速度有些慢,后来改成了网线,建议大家一开始就用网线固定IP地址的分配。
四、安装配置SSH
注:所有的集群上的机器都需要关闭防火墙:
<span style="font-size:18px;">~$ sudo ufw disable </span>
<span style="font-size:18px;">~$ sudo apt-get install ssh</span>这个安装完后,可以直接使用ssh命令了。
执行
<span style="font-size:18px;">$ netstat -nat</span>查看22端口是否开启了。
测试:
<span style="font-size:18px;">ssh localhost</span>输入当前用户的密码,回车就ok了。说明安装成功,同时ssh登录需要密码。
注:这种默认安装方式完后,默认配置文件是在/etc/ssh/目录下。sshd配置文件是:/etc/ssh/sshd_config,在所有机子都需要安装ssh。
安装之后:
<span style="font-size:18px;">~$ cd /home/hadoop ~$ ssh-keygen -t rsa</span>然后一直回车,完成后,在home跟目录下会产生隐藏文件夹.ssh。
<span style="font-size:18px;">~$ cd .ssh~$ ls~$ cp id_rsa.pub authorized_keys</span>测试:
<span style="font-size:18px;">~$ ssh localhost</span>
第一次ssh会有提示信息:
The authenticity of host ‘node1 (10.64.56.76)’ can’t be established.
RSA key fingerprint is 03:e0:30:cb:6e:13:a8:70:c9:7e:cf:ff:33:2a:67:30.
Are you sure you want to continue connecting (yes/no)?
输入 yes 来继续。这会把该服务器添加到你的已知主机的列表中发现链接成功,并且无需密码。
复制authorized_keys到集群其他机器上,为了保证主节点可以无需密码自动登录到其他机器,先在其他机器上执行:
<span style="font-size:18px;">~$ su hadoop~$ cd /home/hadoop~$ ssh-keygen -t rsa</span>一路按回车
然后回到主节点,复制authorized_keys到其他集群的机器上:
<span style="font-size:18px;">~$ cd /home/hadoop/.ssh~$ scp authorized_keys node1.2.3.....n:/home/hadoop/.ssh/</span>这里会提示输入密码,输入hadoop账号密码就可以了。
改动authorized_keys 文件的许可权限
<span style="font-size:18px;">~$ sudo chmod 644 authorized_keys</span>测试:ssh node1.2.....n(第一次需要输入yes)。
如果不须要输入密码则配置成功,如果还须要请检查上面的配置能不能正确。
五、安装Hadoop
<span style="font-size:18px;">~$ sudo wget http://apache.mirrors.tds.net//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz</span>下载安装包后,直接解压安装即可:
<span style="font-size:18px;">~$ tar -zxvfhadoop-0.20.203.0rc1.tar.gz</span>注意:
1.安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。并且安装路径要一致,如果我们用HADOOP_HOME指代安装的根路径,通常,集群里的所有机器的HADOOP_HOME路径相同。
2.如果集群内机器的环境完全一样,可以在一台机器上配置好,然后把配置好的软件即hadoop-0.20.203整个 文件夹拷贝到其他机器的相同位置即可。
3.可以将Master上的Hadoop通过scp拷贝到每一个Slave相同的目录下,同时根据每一个Slave的Java_HOME 的不同修改其hadoop-env.sh 。
4.为了方便,使用hadoop命令或者start-all.sh等命令,修改Master上/etc/profile 新增以下内容:
export HADOOP_HOME=/home/hadoop/hadoop-0.20.203
exportPATH=$PATH:$HADOOP_HOME/bin
修改完毕后,执行source /etc/profile 来使其生效。
配置文件:
conf/core-site.xml
<span style="font-size:18px;"><strong><?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property> <name>fs.default.name</name> <value>hdfs://192.168.1.102:9000</value></property><property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value></property> </configuration></strong></span>conf/mapred-site.xml
<span style="font-size:18px;"><strong><?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property> <name>mapred.job.tracker</name> <value>192.168.1.102:9001</value></property><!--<property> <name>mapred.local.dir</name> <value>/home/hadoop/hadoop_home/var</value></property> --></configuration></strong></span>conf/hdfs-site.xml
<span style="font-size:18px;"><strong><?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><!--<name>dfs.name.dir</name><value>/home/hadoop/name1, /home/hadoop/name2</value> #hadoop的name目录<description> </description></property><property><name>dfs.data.dir</name><value>/home/hadoop/data1, /home/hadoop/data2</value><description> </description></property><property> --> <name>dfs.replication</name> <!-- 我们的集群有四个结点,所以rep两份 --> <value>4</value></property></configuration></strong></span>七、配置masters和slaves主从节点:
配置conf/masters和conf/slaves来设置主从结点,注意最好使用主机名,并且保证机器之间通过主机名可以互相访问,每个主机名一行。
<span style="font-size:18px;">~$ sudo gedit masters</span>zhangju-ThinkPad-T420
<span style="font-size:18px;">~$ sudo gedit slaves</span>jojo-Thinkpad-R60
ubuntu
zhangju-ThinkPad-T420
zhaohui-ThinkPad-X230
最后,将hadoop文件夹拷贝到集群中的各个机器上:
~$ scp -r /home/hadoop/hadoop root@node1.2.....n: /home/hadoop/
八、Hadoop启动以及测试<span style="font-size:18px;">~$ cd /home/hadoop/hadoop/bin~$ hadoop namenode -format</span>成功情况下系统将输出类似如下信息:
<span style="font-size:18px;">12/02/06 00:46:50 INFO namenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = ubuntu/127.0.1.1STARTUP_MSG: args = [-format]STARTUP_MSG: version = 0.20.203.0STARTUP_MSG: build =http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203-r 1099333; compiled by 'oom' on Wed May 4 07:57:50 PDT 2011************************************************************/12/02/0600:46:50 INFO namenode.FSNamesystem: fsOwner=root,root12/02/06 00:46:50 INFO namenode.FSNamesystem:supergroup=supergroup12/02/06 00:46:50 INFO namenode.FSNamesystem:isPermissionEnabled=true12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name1 has been successfully formatted.12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name2 has been successfully formatted.12/02/06 00:46:50 INFO namenode.NameNode:SHUTDOWN_MSG:/************************************************************SHUTDOWN_MSG: Shutting down NameNode atv-jiwan-ubuntu-0/127.0.0.1************************************************************/</span>启动服务:
<span style="font-size:18px;">~$ start-all.sh</span>停止服务:
<span style="font-size:18px;">~$ stop-all.sh</span>查看:
NameNode - http://node1:50070/
JobTracker - http://node1:50030/
如果操作正确,就会看到,集群的节点数,以及所有的相关信息显示。
九、运行实例
<span style="font-size:18px;">~$ cd /home/hadoop/hadoop/bin~$ hadoop fs -mkdir input ~$ hadoop fs ls ~$ cd ..~$ hadoop fs -put NOTICE.txt REDME.txt input ~$ hadoop fs -ls input~$ hadoop jar hadoop-examples-1.0.4.jar wordcount input output</span>
然后就可以看到map reduce的过程。
<span style="font-size:18px;">~$ hadoop fs -ls output ~$ hadoop fs -cat output/part-r-00000</span>
就可以看到相关的程序结果了。 以上操作就是关于ubuntu上进行hadoop reduce集群的环境搭建,并且进行了测试和实例的运行,在这个基础上就可以进行mapreduce的学习编程和大数据的处理了。
- Ubuntu下Hadoop MapReduce集群搭建以及程序运行
- Ubuntu系统下的Hadoop集群(4)_使用Eclipse编译运行MapReduce程序
- Ubuntu系统下的Hadoop集群(2)_使用命令行编译打包运行自己的MapReduce程序
- Ubuntu与Centos的Hadoop安装以及编译运行MapReduce,Hadoop集群安装配置教程
- Hadoop集群模式下运行Mapreduce任务
- Ubuntu下搭建hadoop集群
- Hadoop框架下运行MapReduce程序
- Eclipse打包mapreduce程序并提交至hadoop集群运行
- 创建MapReduce程序,并在hadoop集群中运行
- 在eclipse将mapreduce程序运行在hadoop集群中
- Ubuntu 下hadoop 2.6.0集群搭建
- 虚拟机下ubuntu hadoop集群搭建
- Eclipse下运行hadoop自带的mapreduce程序--wordcount
- ubuntu下hadoop运行wordcount程序
- Hadoop+eclipse运行MapReduce程序
- 编写运行hadoop mapreduce程序
- Fedora20搭建伪Hadoop集群,运行Wordcount程序
- hadoop集群,如何运行Java jar包---如何运行mapreduce程序
- 人群与网络 第十周
- 修改本机域名localhost为任意你想要的名称
- U-Boot 启动过程和源码分析(第一阶段)
- Allegro里隐藏GND或者电源网络的鼠线/ 显示隐藏的鼠线,修改网络颜色
- yum的lock 问题
- Ubuntu下Hadoop MapReduce集群搭建以及程序运行
- mysql主从配置
- C/S架构和B/S架构的概念和区别
- Unity Input 鼠标模拟
- 【ORACLE RAC】crs启动失败 crs_start -all CRS-0184: Cannot communicate with the CRS daemon.
- Android Intent详解
- cross compile openssl
- web请求---小结
- IOS几种简单有效的数组排序方法