Mac Yosemite Hadoop伪分布式模式 安装笔记

本文是个人安装Hadoop伪分布式模式的笔记，记录了我这次的安装步骤。写这篇文章既是给自己存个档也是希望大家互相交流学习，有什么意见与建议欢迎留言。安装步骤是从网上的文章找的，将在写具体步骤时放引用文章的链接。

本人初学Hadoop，目前对它还不是很了解，先放一段别人的文章里对Hadoop的介绍：http://www.ifzer.com/2014/10/31/how_to_install_hadoop_on_mac_ox_x/

Hadoop是Apache基金会下的项目，它能够处理非常大的数据集在分布式计算环境，它可以运行在三种模式下：

• 独立式

  Hadoop运行所有的东西在无后台的单独的JVM中，这种模式适合在开发阶段测试与Debug MapReduce程序

• 伪分布式

  Hadoop做为后台应用运行在本地机器，模拟小集群

• 全分布式

  Hadoop做为后台应用运行真实的集群电脑中

 

安装步骤：

主要是按照这篇文章做的（http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html），参考了官网教程（https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html）

1. 确定安装了java，网上有说要1.6+以上，我安装的是1.8 

$ java -version

java version "1.8.0_60"

Java(TM) SE Runtime Environment (build 1.8.0_60-b27)

Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)

2. 确定可以用ssh远程登录

直接在命令行输 ssh localhost, 如果不能连接 再输 ssh -version, 如果能看到ssh版本说明电脑上已经安装了只需要配置；

首先在系统偏好设置-》共享-》勾选远程登录

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

3. 查看java home的位置

如果已经装了jdk，查看jdk所在的位置：（https://dzone.com/articles/java-findingsetting）（配置java_home,参考http://www.mkyong.com/java/how-to-set-java_home-environment-variable-on-mac-os-x/）

/usr/libexec/java_home -V 

/Library/Java/JavaVirtualMachines/jdk1.8.0_60.jdk/Contents/Home（这是我的java home）

4.从官网下载最新稳定版Hadoop（http://www.apache.org/dyn/closer.cgi/hadoop/common/）

我选择的是stable2，再下载文件夹里面最大的文件

解压下载的文件，复制解压后文件的路径；

在解压的文件中找到etc/hadoop/hadoop-env.sh，修改该文件中export JAVA_HOME={你的java home地址}；

命令行 cd 你的解压后的文件路径

  $ bin/hadoop

到这一步Hadoop基本可以算是装好了，接下来就是配置和实践伪分布式

配置：