Hadoop安装

hbase学习参考http://www.yiibai.com/hbase/，后篇文件不再累述

1、创建Hadoop用户

用户创建成功，然后进入该用户目录下。
2、创建SSH秘钥（需要首先确认SSH已经安装到机器上）

输入ssh-keygen -t rsa命令，生成公私钥

注意：生成过程中，第一个询问是提示保存公私钥的位置，第二三个提示是密码，全部回车即可。
复制公钥文件id_rsa.pub为authorized_keys，并更改authorized_keys权限为0600，提供给使用者，然后使用ssh登录使用者机器就可以进行免密登录了。
3、验证Java，使用Java -version命令，如果已经配置Java环境，则会输出如下显示：

安装版本不同，显示信息不同。如果需要知道当前Java环境的安装环境，可以使用：
update-alternatives –config java命令来查看当前安装的Java路径。
如果提示未安装，则需要自行安装，去Oracle官网下载相应版本即可，安装教程，http://www.jianshu.com/p/cb3ceb066ea8
这里不进行累述。
接下来是重点
4、下载Hadoop
使用wget命令下载Hadoop源文件：
wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-2.6.1/hadoop-2.6.1.tar.gz
解压下载的文件，并将文件夹的名字改为hadoop。
这里需要使用HBase模拟分布式模式功能，因此选择模拟分布式的模式安装Hadoop。
1.打开Hadoop用户目录下的.bashrc文件，配置Hadoop环境变量：

export HADOOP_HOME=/usr/local/hadoopexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport HADOOP_INSTALL=$HADOOP_HOME这里记得添加JAVA_HOME变量

2.配置Hadoop
1 core-site.xml：用于Hadoop实例的端口号，分配给文件系统，存储器限制用于存储数据、存储器和读/写缓冲器的大小的信息。
在core-site.xml文件中添加属性：

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

2 hdfs-site.xml：复制数据的值，NameNode的路径，本地文件系统，要存储Hadoop基础架构的Datanode路径的信息。
在hdfs-site.xml文件中添加如下配置，可以自行定义：

<configuration>
<property>
<name>dfs.replication</name >
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>
</property>
</configuration>

3 yarn-site.xml：
在yarn-site.xml文件中添加如下配置：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

4 mapred-site.xml：用于指定MapReduce框架使用，默认情况下Hadoop包含yarn-site.xml模板。
拷贝mapred-site.xml.template文件为mapred-site.xml，并添加如下配置：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3. 验证hadoop安装
1 名称节点设置
进入根目录，输入命令：hdfs namenode -format
输出如下图结果，表示成功：

省略…

2 验证Hadoop DFS
启动DFS：start-dfs.sh
当我直接运行这个命令的时候，提示我localhost: mkdir: cannot create directory ‘/usr/local/hadoop/logs’: Permission denied错误，即没有权限，去查看hadoop文件夹，发现权限如下：

这里需要更改hadoop文件夹及其目录下所有文件的所有者，chown -R hadoop:hadoop hadoop，这是继续运行start-dfs.sh，却又报出
dWARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable错误
对native文件进行检查：hadoop checknative -a报同样的错误。。。
编辑.bashrc文件，添加变量：
export HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib/native”
重新检查，但是还有个错误，崩溃，继续修复

openssl错误网上解释是一个官方bug，可以使用如下方式修复：
进入/usr/lib64/，运行sudo ln -s libcrypto.so.1.0.1e libcrypto.so命令即可。

bzip2的false不用管，先停止dfs：stop-dfs.sh，再重新启动dfs：start-dfs.sh：

这时就没有报错了，说明dfs启动成功。
3 验证yarn脚本
运行命令：start-yarn.sh

没报错即说明运行成功。
4 访问hadoop，默认端口是50070
在浏览器上输入hadoop机器的IP和端口号，发现无法访问网站，是因为防火墙限制，我们需要打开50070的端口命令如下：
sudo firewall-cmd –permanent –add-port=50070/tcp
sudo firewall-cmd –reload

可以看到hadoop的一些信息，说明配置没问题
5 验证集群中所有的应用程序，默认端口是8088，同样需要打开防火墙的端口，如下图所示：

到此，hadoop安装完成，接下来安装HBase