Hadoop 的安装与配置

来源：互联网发布：淘宝店的排名怎么上去编辑：程序博客网时间：2024/04/30 12:43

1、确认是否安装了 jdk

2、配置ssh 免密码登录

1)、确认当前用户下是否有 .ssh文件夹，如果没有手动创建。

2)、创建公钥与私钥

我本机执行命令后的结果：

3)、验证ssh是否已经安装成功，以及是否可以无密码登录本机

3、安装并运行hadoop

进行配置文件的修改:

在2.6 之前的版本是进入解压目录下的 conf文件夹，进行配置文件的修改。2.6之后是 etc目录下，我这块用的版本是hadoop-2.6.0

1）、进行压缩文件的解压

tar -zxvf hadoop-2.6.0.tar.gz

说明下我这块的安装目录是在 /opt/hadoop 下面。解压后的效果是：

2）、改变文件夹用户及权限

 chmod -R 775 /opt/hadoopchown -R hadoop:hadoop /opt/hadoop

3）、配置环境变量

vi ~/.bashrc
在末尾添加

    #HADOOP VARIABLES START    export JAVA_HOME=/opt/jdk1.8.0    export HADOOP_HOME=/opt/hadoop    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin    export HADOOP_MAPRED_HOME=$HADOOP_HOME    export HADOOP_COMMON_HOME=$HADOOP_HOME    export HADOOP_HDFS_HOME=$HADOOP_HOME    export YARN_HOME=$HADOOP_HOME    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native    export HADOOP_OPTS="-Djava.library.path-$HADOOP_HOME/lib"    #HADOOP VARIABLES END    export HBASE_HOME=/opt/hbase    export PATH=$PATH:$HBASE_HOME/bin    export JRE_HOME=${JAVA_HOME}/jre    export CLASSPATH=.${JAVA_HOME}/lib:${JRE_HOME}/lib:${HADOOP_HOME}/share/hadoop/common/lib:${HBASE_HOME}/lib

source ~/.bashrc

4）、进行配置文件的修改

进入配置文件目录：

a、修改 hadoop-env.sh 指定jdk 安装地址

echo $JAVA_HOME 如果有输出则不用改。

b、core-site.xml hadoop 的核心配置文件，配置HDFS的地址和端口

c、配置备份方式 hdfs-site.xml 默认为3 单机模式改为 1

d、配置MapReduce 的配置文件，配置JobTracker地址和端口 mapred-site.xml

e、配置yarn-site.xml

5）、在启动Hadoop 之前需要格式化 Hadoop 的文件系统 HDFS,进入hadoop/bin文件夹输入如下命令

我的目录是：

执行成功会返回信息

注意：在这块有可能会出错：

这个出错的原因是因为 NameNode 大写导致的，改为 namenode 就好了。

网上查了下也有其他原因导致的：

需要确认hadoop-env.sh 中的 JAVA_HOME 路径是否正确。

再在此文件中增加：

为hadoop 的安装路径

4、安装hbase

1）、解压到 /opt 目录下

tar -zxvf hbase-1.1.1-bin.tar.gz

2）、改变文件夹权限及所在用户组

3）、修改 hbase-env.sh jdk路径

修改 pid的路径

4）、修改hbase-site.xml

添加：

<configuration><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property></configuration>

启动hbase 失败：

    查看hbase lib下 hadoop的版本

替换成 hadoop 对应的版本：

    替换脚本：

find -name "hadoop*jar" | sed 's/2.5.1/2.6.0/g' | sed 's/\.\///g' > f.log

rm ./hadoop*jar

cat ./f.log | while read Line

find /opt/hadoop/hadoop-2.6.0/ -name "$Line" | xargs -i cp {} ./

done

rm ./f.log

hbase 1.1.1 需要1.7 以上版本才能启动  不然启动报错

$ bin/hbase rest start

启动hbase REST服务后就可以通过对uri: http://localhost:60050/api/ 的通用REST操作(GET/POST/PUT/DELETE)实现对hbase的REST形式数据操作.

也可以输入以下指令进入HQL指令模式

$ bin/hbase shell

注：主机名 不能带有下划线

修改hosts 文件进行主机名和ip的映射 所有配置文件中全部采用主机名的形式进行配置

如：

[root@xadevhadoop ~]# cat /etc/hosts
10.0.50.13      xadevhadoop     # Added by NetworkManager
127.0.0.1       localhost.localdomain   localhost
::1     localhost6.localdomain6 localhost6
不能进行 127.0.0.1的映射，否则会报错



访问hbase :
1、RegionServers  HBase RegionServer web 界面绑定的端口
http://xadevhadoop:16030/rs-status
2、 the Master  HBase Master web 界面端口
http://xadevhadoop:16010/master-status

3、集群情况

http://xadevhadoop:8088/cluster

0.98以前版本访问 hbase Master 端口是 60010  和 60030

显示启动：

strace -fe open start-all.sh

参考文档：

http://my.oschina.net/zc741520/blog/388718

http://blog.csdn.net/xanxus46/article/details/45133977
http://blog.csdn.net/frankiewang008/article/details/41965543




http://www.powerxing.com/install-hadoop/  很详细

0 0