hadoop安装

来源：互联网发布：怎么打开传奇的数据库编辑：程序博客网时间：2024/06/03 19:21

去年就开始研究hadoop了，但自己懒于写博客，不过曾经的笔记都还在，现在整理一下分享我的安装见解。

hadoop的安装网上有很多，我也是自己一点一点通过各种他人博客及教学视频安装成功的，虽然是成功了，但是对于自己手头上的各种资料（书，各种网络资源ppt等）发现，hadoop的安装还是有些不同的！不过大致都类似。

先列举一些资料，供初学者使用，其中有很多分享经验的才智之士，在此向他们致敬！

秋水的博客：

http://blog.csdn.net/lizhe_dashuju

如果你闲麻烦，你可以下载他整理好的pdf

http://vdisk.weibo.com/s/zK1F9hyOXkXvO/1383551752

另外是一些很有价值的视频资料

http://pan.baidu.com/share/link?shareid=3162895742&uk=604773622&fid=400294669#dir/path=%2F02.docs%2Fhadoop%2FHadoop%E8%A7%86%E9%A2%91%E6%95%99%E7%A8%8B

里面东西很好，再次向这位人士致以崇高的敬意

在开始配置之前先准备一下配置环境：

一 .准备handoop

初学者可能对hadoop的版本搞晕，而不知道安装哪个好，那么请去这里看看

http://wenku.baidu.com/link?url=ZJEvpvVYHIHTSEg4Dl_YAEwd9j5Hg36rBVq9mAkMj4U8kyqGdz3vW2ppmj6DT6LCMJk51gGoe2fwPFdCBMH0zFS7O5OxE-1ulFIuR3wFMqe

截至到今天，2014年3月3日, Apache的官方hadoop的稳定版本分别是

hadoop-0.23.10/ hadoop-1.2.1/ hadoop-2.3.0/

如果要学习的话，因为网上的很多资料都是基于1.2.1，因此我准备的环境是1.2.1的。各个版本的安装不尽相同，但大体还都是一样的。

二．准备Linux（我的是Centos6.5，你喜欢什么版本就什么）

搭建伪分部式的环境

（学习环境有两种，一种是单机模式，一种是伪分部式模式，生成环境自然是分布式模式）

Linux 的安装请百度自行查找，这里不再多说，我认为对于要想学好hadoop 学会linux是必然的前提，请大家不要一看自己不会linux而放弃，我自己的linux水平也很菜的，借着学hadoop来使自己了解一些linux也是很好的。你也可以读秋水写的0基础学习hadoop。

三．准备JDK

我自己本机装的JDK是jdk-7u45，oracle 官方的现在是JDK-7u51

四.安装

先安装jdk，在你的linux里请下载好jdk 和hadoop（linux的下载命令“wget 下载地址 ” ，如果你是在虚拟机上，也可以用WinSCP工具把资源从你的windos上传到你的虚拟机上的linux，至于宿主机和客户机如何建立通讯，请百度吧！）

我直接用root用户安装了，不是root用户的同学请chmod 增加权限 “sudo chmod u+x 你的jdk目录”

切换到你想安装的目录，用tar -xvf jdk-7u51-linux-i586.gz 解压。

配置环境变量

用vi或gedit 进入 /etc/profile 命令 “ vi /etc/profile ” 或“gedit /etc/profile””

增加两条内容

export JAVA_HOME=你的jdk路径

export PATH=.:$JAVA_HOME/bin:$PATH

至于CLASSPATH 如果是安装JDK1.5以上，就不用配置了（有些老套的人配这个变量净扯淡，因为1.5以后的版本都能自动扫描当前目录及dt.jar和tools.jar，java8GA版再过17天就要与大家见面了，这年头还有人用1.5以下版本? ）

保存退出profile文件

执行命令“source /etc/profile” 使之立即生效

用 java -version 验证

如果输出版等信息则证明安装成功。

安装hadoop：

先配置一下SSH 免密码登录

（不要以为SSH 是三大框架，这里的SSH 是 Secure Shell ，是一种专为远程登录会话和其他网络服务提供安全性的协议，配置免密码登录是因为在服务器集群中hadoop的各结点之间要相互通信，各节点可能在不同的服务器上，所以如果不配置面密码的话就要人工输入账号密码是相当繁琐的！）

请确认你的linux上安装了SSH，通常来说，社区版本及Ubuntu都自带了吧，没带那就百度安装一个 OpenSSH！

切换到SSH目录 cd ~/.ssh

执行 “ssh-keygen -t rsa ” 这是用rsa的加密法生成的公钥和密钥，你会看到.ssh文件夹下多了连个文件，一个是id_dsa（密钥）另一个是id_dsa.pub（公钥）

生成授权文件 “ cp id_rsa.pub authorized_keys ” 这个命令是把公钥加入到用于认证的公钥文件中。

执行 “ssh localhost” 输出一对信息，如果显示成功了，那么恭喜你配置成功！

解压你的hadoop到你想要解压的路径。

执行命令 “ tar -zxvf hadoop-1.2.1.tar.gz”

增加环境变量

“ vi /etc/profile”

增加 export HADOOP_HOME=/usr/local/hadoop-1.2.1

增加 :HADOOP_HOME/bin 到PATH变量中

命令 “Source /etc/profile ” 立即生效

修改hadoop的配置文件（搭建伪分布）

位于$HADOOP_HOME/conf目录下

要修改4个文件

hadoop-env.sh core-site.xml

hadfs-site.xml mapred-site.xml

修改1 hadoop-env.sh

第9行的 JAVA_HOME 令其指向自己安装的jdk的安装目录/usr/local/jvm/jdk1.7

修改2 core-site.xml

<name>fs.default.name</name>

<value>hdfs://你的主机名:9000</value>

<description>change your own hostname</description>

</property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

修改3 hdfs-site.xml

<name>dfs.replication</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

修改4 mapred-site.xml

<name>mapred.job.tracker</name>

<value>你的主机名:9001</value>

<description>change your own hostname</description>

</property>

</configuration>

5 对hadoop进行格式化 “hadoop namenode -format” ；

6启动

命令“start-all.sh” 想关闭时的关闭命令是 “stop-all.sh”

执行jps 可以看执行的java进程（这个命令来自java）

启动hadoop后会出现5个进程

JobTracker

NameNode

SecondaryNameNode

DataNode

Jps

如果看到起动起5个进程那么hadoop的安装就成功了

有两个端口需要日后用到一个是50030 一个是 50070

你也可以到你的linux上的火狐浏览器下输入http://localhost:50030/ http://localhost:50070/

看看有什么神奇的页面吧~！

结束。

0 0