hadoop之搭建环境

来源：互联网发布：淘宝怎么卖编辑：程序博客网时间：2024/05/16 14:28

1、准备的软件

必备

系统：ubuntu14.04（官网，服务器版）

JDK：1.7.0_55 （官网）

Hadoop: 2.4 (官网)

可选

这部分软件非必要，但是如果要便利些，请选择使用，实际的公司中也会使用。

FTP：这个不用说了，为了传送文件更便利，安装完ubuntu后运行命令“sudo apt-get install vsftpd”，自动下载并安装，安装完毕后输入vi /etc/vsftpd/vsftpd.conf进行配置，最基本的：

local_enable=YES 允许本地账号登陆

write_enable=YES 能够进行写操作（上传）

其他的根据自己的需要进行配置吧。

解决ubuntu下root用户不能ftp登陆的问题

一般情况下,由于种种原因ftp是不让root用户远程登陆,但只要你修改以个文件就可以登陆了.

注释掉 /etc/ftpusers 中的root即可

SecureCRT：因为虚拟机上安装的ubuntu server复制粘贴命令不是很方便，有一个这东西方便很多，不过需要安装了open SSH之后才能用。

2、安装系统

这个简单了，下载的ubuntu server的iso版本，直接用vmware进行安装，设置好账号和密码，一般的权限上可以搞掂，如果偷懒点可以使用root账号，输入sudo passwd 设置下root账号的密码就可以了。

3、安装JDK

a) 我下到的jdk版本为：jdk-7u55-linux-x64.tar，通过FTP上传到用户目录下/home/a

tar xvf jdk-7u55-linux-x64.tar 解压后得到一个文件夹，当然你也可以在windows下用winRAR解压了之后用ftp上传到虚拟机上

解压后的文件夹重命名为jdk7 , mov jdk-7u55-linux-x64 jdk7

b) 下面配置下环境变量：

vi /etc/profile 进入文档编辑模式(按i)

新增以下内容：

export JAVA_HOME=/home/a/jdk7
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

ctrl + c 然后输入:wq 回车保存退出。

如果嫌vi编辑太麻烦，一样的用root用户通过ftp对etc下的profile文件进行编辑后上传。

c) 需要重启虚拟机的系统后才能生效。

重新进入之后输入java -version 看是否成功。

4、配置SSH

a) 确定ubuntu连上网络

输入sudo apt-get install ssh

此时会自动安装ssh

可能会提示如下内容：

openssh-server : 依赖: openssh-client (= 1:6.6p1-2ubuntu1)

E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。

我们执行：sudoapt-getinstallopenssh-client=1:6.6p1-2ubuntu1 进行安装就好了

安装完成之后执行下：ps -e |grep ssh 有内容则说明执行成功了。

b) 安装成功后输入 ls -a /home/a 发现会有一个.ssh文件，则安装成功

输入命令：ssh -keygen -t dsa -P '' -f ~/.ssh.id_dsa

需要注意大小写，~表示当前用户文件夹

生成密匙之后，再输入：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authoried_keys

到此步基本配置完成

c) 验证

输入：ssh -version

这个提示是ok的，不过略傻，搞不懂为何会这样提示。

输入：ssh localhost

第一次登陆会询问你是否继续连接，输入yes即可，现在这个截图是我第二次登陆了，所以没有提示

注意：可能会提示connect to host localhost port 22: Connection refused

此时再输入sudo apt-get install openssh-server ，安装上服务器端即可

SSH安装完毕之后你会发现SercureCRT可以使用了。

5、安装Hadoop

a) 下载了hadoop-2.4.0.tar，同JDK一样咯，解压到用户目录下，vi /etc/profile 新增：

export HADOOP_HOME="/home/a/hadoop24"
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

b) 配置，进入/home/a/hadoop24/etc/hadoop

core-site.xml 新增

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.77.129:9000</value>
<final>true</final>
</property>
</configuration>

hdfs-site.xml 新增：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

新建 mapred-site.xml 这个文件（原来的目录是没有的），再新增：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml 新增：

<configuration>


<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

</configuration>

c) 到bin目录下启动

开始守护进程

# hadoop-daemon.sh start namenode

# hadoop-daemon.sh start datanode

开始 Yarn 守护进程

# yarn-daemon.sh start resourcemanager

# yarn-daemon.sh start nodemanager

使用jps看下当前系统中的java进程

d) 使用 http://192.168.77.129:8088/cluster 浏览器登陆

界面如下：

恭喜了！初步的配置已经完成了！

0 0