Hadoop学习笔记———《Mac OS X 下hadoop2.6.0安装教程》

官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

hdfs指令：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/FileSystemShell.html

1、安装jdk

下载地址：https://java.com/zh_CN/download/manual.jsp

2、ssh免密码登陆

2.1、在终端命令行下输入：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

其中''里的是登陆的密码，因为要设置免密码，所以''里是什么都没有的，空格也不行

2.2、在终端命令行下输入：

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2.3、在终端命令行下输入：

$ ssh -version 

如果不需要密码则成功了

3、Hadoop下载

官网下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/

选择hadoop-2.6.0.tar.gz下载，如果用safari浏览器下载，自动解压成hadoop-2.6.0.tar，在终端命令行输入：

$ tar xzf hadoop-2.6.0.tar

如果没有自动解压，在终端命令行输入：

$ tar zxvf hadoop-2.6.0.tar.gz

解压到自己设定的目录，例如/users/lichengjin/hadoop-2.6.0/

4、Hadoop配置

4.1、配置etc/hadoop/hadoop-env.sh

修改如下；

# The java implementation to use.export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home

4.2、配置 etc/hadoop/core-site.xml

修改如下：

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property></configuration>

4.3、配置 etc/hadoop/hdfs-site.xml

修改如下：

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/users/lichengjin/hadoop-2.6.0/dfs/name</value></property><property><name>dfs.datannode.data.dir</name><value>/users/lichengjin/hadoop-2.6.0/dfs/data</value></property></configuration>

4.4、配置 etc/hadoop/mapred-site.xml

发现etc/hadoop/下没有mapred-site.xml文件，但是有一个名为mapred-site.xml.template的文件，只需要将其复制并重命名为mapred-site.xml即可

修改如下：

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property><property><name>dfs.replication</name><value>1</value></property></configuration>

4.5、配置 etc/hadoop/yarn-site.xml

修改如下：

<configuration><!-- Site specific YARN configuration properties --><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

5、格式化一个新的分布式文件系统：

$ bin/hadoop namenode -format

6、启动Hadoop守护进程

$ sbin/start-all.sh

成功的话，运行jps查看进程应该是类似如下形式：

8905 SecondaryNameNode5958818 DataNode9959 NodeManager9167 NameNode9883 ResourceManager10002 Jps

可能遇到的问题：

1、在mac系统下出现：

Unable to load realm info from SCDynamicStore

解决方案：

在etc/hadoop/hadoop-env.sh中加入

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

2、在mac系统下出现：

ssh: connect to host localhost port 22: Connection refused

解决方案：

打开系统偏好设置 —— 共享，选中远程登录——允许访问——所有用户

输入以下测试：

$ ssh localhost

无需密码，配置成功