安装hadoop和gluster

来源:互联网 发布:3d动漫设计软件 编辑:程序博客网 时间:2024/05/16 01:06

安装glusterfs-3.2.5

       tar -zxvf glusterfs-3.2.5.tar.gz 
   
    cd glusterfs-3.2.5
   
    ls
   
   ./configure 
   
   yum install "fuse*"
   
   make 
   
   make install
   
   ls
   
   ls /etc/
   
   ls /etc/init.d/
   
   /etc/init.d/glusterd start
   
   /etc/init.d/glusterd status
   
   ls
   
   cd /
   
   mkdir data
   
   cd data/
   
   ls
   
   mkdir hadoop
   
   ls
   
 
 mount.glusterfs ip:/host /data/hadoop/


=================================================

安装hadoop

(1)安装jdk,可以放置在/usr下面
(2)安装ant
(3)下载hadoop包,hadoop.tar.gz 
(4)解压缩到/opt/hadoop目录下,可以将其所有者赋给hadoop用户
(5)更改主机名,两部分,一部分是etc/hosts中,将节点名字列出来,类似于
192.168.1.1 namenode0 namenode0
192.168.1.2 namenode1 namenode1
另一部分在/etc/sysconfig/network中,更改hostname,重启打来一个connection即可生效
(6)在hadoop的根目录下,运行ant jar,进行编译
如果在downloading http://mirrors.ibiblio.org/pub/mirrors/maven2/oro/oro/2.0.8/oro-2.0.8.jar ...处卡住
则需要更换maven的镜像地址,在ivy中的配置文件里改
(7)更改hadoop的conf文件夹里的六个配置文件

主要是更改namenode的名字、zookeeper的地址和端口号

(8)根据配置文件里的内容,新建文件夹
依次所有的虚拟机都这样做。
${hadoop.tmp.dir}/dfs/image
${hadoop.tmp.dir}/dfs/edits

(9)两个namenode都要格式化下

  (10)利用hadoop命令,执行,检测