hadoop踩坑记1-编译部署

环境：CentOS 7.3 64位(64位的hadoop需要自己编译)

1、创建新用户

　　useradd -m hadoop -s /bin/bash                  创建hadoop用户并使用/bin/bash作为shell

　　passwd hadoop　　　　　　　　　　　　　　  hadoop用户设置密码

　　visudo　　　　　　　　　　　　　　　　　　　hadoop用户增加管理员权限。在root    ALL=(ALL)       ALL下加上

　　　　　　　　　　　　　　　　　　　　　　　　 hadoop  ALL=(ALL)       ALL

　　ok使用hadoop登陆

2、配置ssh无密码登陆

　　ssh-keygen　　　　　　　　　　　　　　　　　生成密钥

　　cd .ssh

　　cat id_rsa.pub >> authorized_keys　　　　　　加入授权

　　chmod 600 ./authorized_keys　　　　　　　　修改权限

3、安装java

　　sudo rpm -ivh jdk-8u144-linux-x64.rpm                   

　　sudo vim /etc/profile　　　　　　　　　　　　　　配置环境变量

　　　　加上export JAVA_HOME=/usr/java/default

　　　　　　export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　　　　　export PATH=$PATH:$JAVA_HOME/bin

4、sudo yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst    （编译用）

5、安装protobuf(编译hadoop用)

　　sudo tar -zxf protobuf-2.5.0.tar.gz -C /usr/local/                 protobuf下载地址：链接: https://pan.baidu.com/s/1cAlLam 密码: e43i

　　sudo mv protobuf-2.5.0/ protobuf

　　sudo ./configure

　　sudo make
　　sudo make install
　　protoc --version

6、安装maven(编译hadoop用)

　　sudo tar -zxf apache-maven-3.5.0-bin.tar.gz -C /usr/

　　配置环境变量

　　export MAVEN_HOME=/usr/apache-maven-3.5.0

　　export PATH=$PATH:$MAVEN_HOME/bin

7、编译

　　解压hadoop源码包

　　编译的话用root吧，后面其他会报一些错

　　mvn clean package -Pdist,native -DskipTests -Dtar      编译，比较慢多等等

　　成功后，在hadoop-dist/target可以找到编译好的包

　　配置环境变量

　　　　export HADOOP_HOME=/usr/local/hadoop
　　　　export HADOOP_INSTALL=$HADOOP_HOME
　　　　export HADOOP_MAPRED_HOME=$HADOOP_HOME
　　　　export HADOOP_COMMON_HOME=$HADOOP_HOME
　　　　export HADOOP_HDFS_HOME=$HADOOP_HOME
　　　　export YARN_HOME=$HADOOP_HOME
　　　　export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
　　　　export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

            export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

　　sudo chown -R hadoop:hadoop ./hadoop授权

　　hadoop version 来查看