hadoop安装

来源:互联网 发布:linux 抓取log日志 编辑:程序博客网 时间:2024/06/05 21:49

 hadoop安装

hadoop的安装分为三种,单机版,伪分布式,集群安装。这里我记下了在三种情况下的区别和共同点。

首先是无论是哪种情况,hadoop必须在所有电脑上安装,包括master和slave节点,并且最好保证hadoop的版本在不同的机器上一致。为了能够运行hadoop,必须要安装java环境,并且要安装ssh,ssh为了在不同机器上提供某种功能,暂时还不知道。然后就是配置hadoop。

1. 安装java环境并安装ssh并且配置免密码登陆。

sudo apt-get install sshsudo apt-get install rsync

配置免密码登陆:

cd ~mkdir .sshssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2. 下载hadoop的binary包,并且解压然后配置hadoop。

tar -zxvf hadoop-binary.jar

在hadoop的binary目录里面配置etc/hadoop/hadoop-env.sh,在其中设置export JAVA_HOME=完整的jdk目录。

3. 为了运行hadoop的简单,可以在环境变量里面添加hadoop的bin:

export PATH=$HADOOP_HOME/bin:$PATH

通过以上步骤后,hadoop的安装算是完成了,但是为了能够以三种方式之一执行某个程序,我们需要不同的配置。这个以后再说。

0 0