hadoop学习之一:mac下hadoop安装

这篇文章主要介绍了mac下Hadoop独立模式的安装，为后面学习MapReduce做准备。因为一直挂着代理，所以不保证下面的链接在墙内可以打开

前置知识点

 学校图书馆借了一两本书阅览了一下，大致了解了hadoop、hdfs、mapreduce的一些基本概念以及1.x的架构(没错1.x并没有涉及到YARN)，之后打算跟着官网走，其实官方的文档很有意义，起码借鉴之前学习openflow和Android的经验，从document入门基础都不坏太差。

环境安装

1. 先说下设备，一台mac，系统是OS X 10.11.1，所以打算直接在mac os下搭建环境。其实感觉mac和Linux下都差不多的，步骤什么的，跟着Hadoop: Setting up a Single Node Cluster.走就是了。

2. 然后是事先要求的软件：

   • jdk事先装好，这个没什么好说的，注意一下版本就对了
   • ssh，这个的话mac系统其实是默认装了的，只是默认关闭，所以在系统偏好中打开共享勾选远程登录即可。
   • Homebrew,Linux下可以使用apt-get快速安装，忽略包依赖等问题，但是在mac os下可没有apt-get给你使用，这时候，你就需要Homebrew帮忙，它可以方便地安装、卸载、搜索软件。这是参考方法

3. 现在该安装hadoop了，这里不用按照官网上的链接点击下载，直接在终端通过Homebrew命令就ok了。

$ brew install hadoop
1
1

1. 现在假设已经打印了安装成功的信息，注意终端会打印这几个东西:

In Hadoop's config file:/usr/local/Cellar/hadoop/2.8.0/libexec/etc/hadoop/hadoop-env.sh,/usr/local/Cellar/hadoop/2.8.0/libexec/etc/hadoop/mapred-env.sh and/usr/local/Cellar/hadoop/2.8.0/libexec/etc/hadoop/yarn-env.sh  $JAVA_HOME has been set to be the output of:/usr/libexec/java_home
1
2
3
4
5
6
1
2
3
4
5
6

  根据名字应该可以大致推测这应该是一些环境配置文件，可能由于版本变化，这个目录也会不同，但无论如何还是应该注意一下。再看看官网上，这时候它要求我们配置etc/hadoop/hadoop-env.sh中的JAVA_HOME路径，那根据之前安装成功打印的信息(第一个)，可以通过前往文件夹的方式定位到hadoop-env.sh中去。在第一行代码下中添加第二条配置代码：

# Extra Java runtime options.  Empty by default.
1
1

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home"
1
2
3
1
2
3

注意hadoopyou三种运行模式：独立模式(Standalone)、伪分布模式(Pseudo-Distributed)、分布式(Fully-Distributed),由于当前是急于体验MapReduce，所以先配置独立模式，这也是默认的模式，另外两个模式需要其他的配置。

1. 测试,这里肯定是我没有设置类似于环境变量什么的，首先是类似于一个打印文档的命令，官方给的是

  $ bin/hadoop
1
1

然而运行回发现打印“没有这个目录”之类的信息，这个时候直觉告诉我就是目录信息不对，我的解决方法是，找到绝对路径信息:

 $ /usr/local/Cellar/hadoop/2.8.0/bin/hadoop
1
1

当然也可以设置一个环境变量，这样写的内容就少很多

 $ export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.0
1
1

这样果然可以得到文档信息，说明是安装完成了，后面官方又给了一个应该是MapReduce的操作，可以试着敲一下，不过注意终端打印说找不到路径或者文件就要思考是不是目录没有写全。