CentOS 64位安装hadoop

来源:互联网 发布:淘宝的店铺经营许可 编辑:程序博客网 时间:2024/05/02 05:04

     最近实习无聊的很,想到最近云比较热,就想搭个环境体验一下,按照网上的一些资料,安装过程也遇到不少问题,现在站在巨人的肩膀上,将自己的安装过程和大家分享。。。

好了,废话就到此吧。

一、平台环境和需要安装的软件

我安装的CentOS是完全安装的,安装过程需要下载一些软件,所以确保网络的联通性。如果已经下载好了安装包,网络就不是必须的了

我用到的所有软件包我也已经分享了,详见第三部分 *<^_^>*

  1. 平台:CentOS Linux release 7.0.1406 X86_64
  2. 所需软件:jdk
  3. protocbuf
  4. cmake
  5. openssl-devel
  6. ncrouses-devel

二、软件安装

1、jdk安装

Centos 默认安装的是openJDK,不过我比较喜欢用oracle的JDK,所以就重新安装JDK了

查看安装了的 openJDK

  1. [root@localhost ~]# rpm -qa | grep java

1.1将上面显示的软件卸载

  1. [root@localhost ~]# rpm -e --nodeps #上面显示出来的软件包名
1.2 从甲骨文公司网站下载JDK安装包 ,我下载的是jdk-7u75-linux-x64.rpm 安装oracle JDK

  1. [root@localhost ~]# cp jdk-7u75-linux-x64.rpm /usr/
  2. [root@localhost usr]# rpm -ivh jdk-7u75-linux-x64.rpm
在/usr/ 下有文件夹java,这就是JDK的主文件夹了

  1. #查看是否安装成功
  2. [root@localhost ~]# javac -version
  3. javac 1.7.0_75
本来现在安装JDK不用配置环境变量就可以使用了,但是后面的程序依赖JAVA_HOME,所以还是简单的配置一下环境变量

  1. [root@localhost ~]# vi /etc/profile
在文件最后一行添加

  1. export JAVA_HOME=/usr/java/jdk1.7.0_75/
  2. export PATH=.:$JAVA_HOME/bin:$PATH
重启使更改立即生效,或用下面的命令避免重启

  1. [root@localhost ~]# source /etc/profile

2、安装protocbf 对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 如果已经安装的可以忽略下面这一步

  1. [root@localhost ~]# yum install gcc
  2. [root@localhost ~]# yum install gcc-c++
  3. [root@localhost ~]# yum install make

我用的protoc 为protobuf-2.5.0.tar.gz

  1. [root@localhost ~]#cp protobuf-2.5.0.tar.gz /usr/
  2. [root@localhost ~]#cd /usr/
  3. [root@localhost usr]#tar -zxvf protobuf-2.5.0.tar.gz
  4. [root@localhost usr]# cd protobuf-2.5.0/
    [root@localhost protobuf-2.5.0]#
    ./configure --prefix=/opt/protoc/
  5. [root@localhost protobuf-2.5.0]#make
  6. [root@localhost protobuf-2.5.0]# make install
配置protoc 的环境变量

  1. [root@localhost ~]# vi /etc/profile
  2. #最后一行添加
  3. export PROTOC_HOME=/usr/protobuf-2.5.0/
  4. exprot PATH=.:$PROTOC_HOME/bin:$PATH
  5. #使更改生效
  6. [root@localhost ~]# source /etc/profile
测试是否配置成功

  1. [root@localhost ~]#protoc --version
    libprotoc 2.5.0

3、已经快好了,不过还需要准备一下hadoop依赖的软件。所谓“磨刀不误砍柴工”嘛

  1. [root@localhost ~]# yum install cmake
  2. [root@localhost ~]# yum install openssl-devel
  3. [root@localhost ~]# yum install ncrouses-devel

4、通过前面的步骤,又巩固两种安装软件的方法了。好了,下面上主菜

我官网下载的hadoop安装文件为:hadoop-2.6.0.tar.gz 

  1. [root@localhost ~]# cp hadoop-2.6.0.tar.gz /usr/
  2. [root@localhost usr]# tar -zvxf hadoop-2.6.0.tar.gz
  3. [root@localhost usr]# cd hadoop-2.6.0
  4. [root@localhost hadoop-2.6.0]# ls
  5. bin  include  libexec      NOTICE.txt  sbin
    etc  lib      LICENSE.txt  README.txt  share

  6. #已经编译好了

将hadoop文件目录加入环境变量中

  1. [root@localhost ~]# vi /etc/profile
  2. #最后一行添加
  3. export HADOOP_HOME=/usr/hadoop-2.6.0/
  4. exprot PATH=.:$PROTOC_HOME/bin:$PATH
  5. #使更改生效
  6. [root@localhost ~]# source /etc/profile
测试是否成功

  1. [root@localhost ~]# hadoop version
  2. Hadoop 2.6.0
  3. Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1
  4. Compiled by jenkins on 2014-11-13T21:10Z
  5. Compiled with protoc 2.5.0
  6. From source with checksum 18e43357c8f927c0695f1e9522859d6a
  7. This command was run using /usr/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar

到了这步,说明hadoop已经安装好了,完成,不过别忘了一些收尾的工作

  1. [root@localhost ~]# yum clean all

三、所有用到的软件呢,我已经放到百度云

http://yun.baidu.com/share/link?shareid=1797452833&uk=505520807

四、参考文档和相关说明

http://blog.csdn.net/w13770269691/article/details/16883663/

http://www.centoscn.com/image-text/install/2014/0401/2685.html

http://www.zhixing123.cn/ubuntu/40592.html

  




0 0
原创粉丝点击