在ubuntu中安装单机Hadoop(四)

来源:互联网 发布:星际争霸1汉化软件 编辑:程序博客网 时间:2024/06/05 02:07

接着上一篇“在ubuntu中安装单机Hadoop(三)”

参考资料:资料链接

继续记录在Ubuntu上安装Hadoop,一共是下面几步:

1. 在Ubuntu中建立hadoop用户组和用户

2. 安装JDK

3. 修改机器名

4. 安装ssh服务

5. 建立ssh无密码登录本机

6. 安装hadoop

7. 在单机上运行hadoop

其中,1-5步已经在前面的文章中记录过啦。现在从第6步开始。

六、安装Hadoop

在hadoop的官网,找到download, 找到镜像文件。点击mirror site

然后继续点 ...


下载stable版本的就好。

下面就是...当当当... 安装hadoop了。

1. 将hadoop-2.9.0.tar.gz 文件复制到/usr/local/ 目录下


因为该文件的owner是yin,因此还需要设置一下文件权限:

sudo chmod 777 hadoop-2.9.0.tar.gz


2. 解压 hadoop-2.9.0.tar.gz

sudo tar -zxf hadoop-2.9.0.tar.gz 

3. 将解压出的文件名改为hadoop


4. 将hadoop的文件夹的owner设为hadoop(^ _ ^)



Hadoop解压后即可使用。输入以下命令:

 cd /usr/local/hadoop./bin/hadoop version


Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单Java进程。

为了不用在固定位置使用hadoop命令,可以配置环境变量。

在hadoop的 ~/.bashrc 文件尾部添加:

export HADOOP_INSTALL=/usr/local/hadoopexport PATH=$PATH:${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin
然后,重新加载一下:

source ~/.bashrc

即可在任意位置使用hadoop命令(该用户登录下)。


七、在单机上运行Hadoop

运行Hadoop里给出的例子,wordcount 。

自己建一个input文件放入一个测试文本吧。output不用建。

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input/words.txt output

Done.

在运行的时候,一开始出现报错,不能识别机器。

后来发现是,当初改机器名的时候,修改了 /etc/hostname

然而,/etc/hosts 中,仍然是老的机器名。因此,后来把 /etc/hosts 中的机器名也改过来就好了。

原创粉丝点击