hadoop2.7.3集群环境搭建

1.下载hadoop文件包http://hadoop.apache.org/releases.html

2.在运行kylin sample时出现以下错误：
org.apache.hadoop.hive.ql.metadata.HiveException: native snappy library not available: this version of libhadoop was built without snappy support.
造成以上错误的原因是Hadoop的二进制安装包中没有snappy支持，需要手工重新编译。

3. 下载所需要的源码包
snappy-1.1.1.tar.gz
protobuf-2.5.0.tar.gz
hadoop-2.7.3-src.tar.gz

4. 准备编译环境
yum install svn
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install gcc*

5. 编译安装snappy
# 用root用户执行以下命令
tar -zxvf snappy-1.1.1.tar.gz
cd snappy-1.1.1/
./configure
make
make install
# 查看snappy库文件
ls -lh /usr/local/lib |grep snappy

6. 编译安装protobuf
# 用root用户执行以下命令
tar -zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0/
./configure 
make 
make install
# 查看protobuf版本以测试是否安装成功
protoc --version

7. 编译hadoop native
tar -zxvf hadoop-2.7.3-src.tar.gz
cd hadoop-2.7.3-src/
mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

执行成功后hadoop-dist/target/hadoop-2.7.3.tar.gz即为新生成的二进制安装包。

8免密码登录

useradd -d /home/kok -m kok

usermod -G root kok

passwd kok

su - kok

cd ~

ssh-keygen -t rsa
回车到底

ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 44331 kok@192.168.1.244"

scp -P 44331 ~/.ssh/authorized_keys kok@192.168.1.245:/home/kok/.ssh/

ssh-copy-id -i ~/.ssh/id_rsa.pub "-p44331 kok@192.168.1.245"

scp -P 44331 ~/.ssh/authorized_keys kok@192.168.1.246:/home/kok/.ssh/

ssh-copy-id -i ~/.ssh/id_rsa.pub "-p44331 kok@192.168.1.246"

scp -P 44331 ~/.ssh/authorized_keys kok@192.168.1.244:/home/kok/.ssh/

scp -P 44331 ~/.ssh/authorized_keys kok@192.168.1.245:/home/kok/.ssh/

三、安装配置hadoop
以下的操作均使用grid用户在master主机上执行。
1. 安装hadoop（安装包下载已经到kok用户主目录）：
cd ~
tar -zxvf hadoop-2.7.3.tar.gz

2. 建立目录
cd ~/hadoop-2.7.3
mkdir tmp
mkdir hdfs
mkdir hdfs/data
mkdir hdfs/name

3.修改配置

4.复制

scp -P44331 -r hadoop-2.7.3 192.168.1.245:/home/kok/

scp -P44331 -r hadoop-2.7.3 192.168.1.246:/home/kok/

5初始化及运行

五、初始化及运行
以下的操作均使用kok用户在master主机上执行。
hdfs namenode -format