Hadoop 64位编译

由于64位Ubuntu需要重新编译下载的Hadoop源码，把过程记录一下。

---------------------------------------------Hadoop编译及软件准备---------------------------------------

Hadoop src版本2.20，Ubuntu版本14.04。

所需下载软件及过程：

1、安装JDK

     下载：http://www.oracle.com/technetwork/java/javase/downloads/index.html

     解压至当前路径：tar -zxvf  ****.tar.gz

     配置环境变量：gedit /etc/profile

    export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_60
    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib
    export PATH=$PATH:$JAVA_HOME/bin

    将安装的jdk加入java选单：

     update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0_60/bin/java 300
     update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_60/bin/javac 300

    update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/jdk1.7.0_60/bin/javah 300

    update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/jdk1.7.0_60/bin/javap 300

    update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1.7.0_60/bin/jar 300

    update-alternatives --config java

    java -version查看版本

2、安装maven

      sudo apt-get install maven

      配置环境变量：

      export M2_HOME=/usr/local/apache-maven-3.2.3
      export M2=$M2_HOME/bin
      export PATH=$M2:$PATH 

3、安装ant

     下载ant http://mirrors.cnnic.cn/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz

     解压，配置环境变量：

     export ANT_HOME=/usr/lib/apache-ant-1.9.4
     export PATH=$PATH:$ANT_HOME/bin

4、安装下面软件

sudo apt-get install cmake lzo-devel zlib-devel g++ autoconf automake libtool ncurses-devel openssl-dev

5、安装protopof
sudo wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
tar zxvf protobuf-2.5.0.tar.gz 
然后进入protobuf-2.5.0文件夹，进行如下操作：

          $ sudo ./configure 
          $ sudo make 
          $ sudo make check 
          $ sudo make install 
          $ sudo ldconfig 

    配置环境变量：

         export LD_LIBRARY_PATH=~/usr/protobuf-2.5.0

6、编译Hadoop

进入Hadoop源码目录下，mvn package -Pdist,native -DskipTests -Dtar 

遇到一个error，An Ant BuildException has occured，解决如下：

在hadoop-common-project/hadoop-auth/pom.xml中添加 + 号行
     </dependency>
     <dependency>
+      <groupId>org.mortbay.jetty</groupId>
+      <artifactId>jetty-util</artifactId>
+      <scope>test</scope>
+    </dependency>
+    <dependency>
+      <groupId>org.mortbay.jetty</groupId>
       <artifactId>jetty</artifactId>
       <scope>test</scope>
     </dependency>

7、安装Eclipse：

   解压 tar -zxvf eclipse-SDK-3.7.2-linux-gtk.tar.gz

    移动到路径 sudo mv eclipse /usr/local/

    启动eclipse   /usr/local/eclipse/eclipse

附：创建桌面链接
$ sudo su
# vim /usr/share/applications/eclipse.desktop
写入以下内容
[Desktop Entry]
Name=Eclipse
Comment=Eclipse SDK
Encoding=UTF-8
Exec=/usr/local/eclipse/eclipse
Icon=/usr/local/eclipse/icon.xpm
Terminal=false
Type=Application
Categories=Application;Development;

8、安装配置SSH

-------------------------------------------Hadoop配置---------------------------------------------

由于2.2配置中出现些问题，使用1.2.1进行配置示例

如不进行编译，单纯运行，需要环境准备：

1、相应版本JDK  可选：Eclipse、Ant

JDK配置参见文首。由于使用英伟达TK1开发板为ARM架构，选择JDK ARM版，配置时遇到缺少libjli.so

解决方案：

ldd /usr/bin/java
cp /usr/lib/jvm/jdk1.7.0_60/jre/lib/arm/jli/libjli.so  /lib

2、环境变量配置：sudo gedit /etc/profile

单机版：

  修改conf文件夹下hadoop-env，设置到JDK路径

伪分布：

 编辑core-site.xml

         hdfs-site.xml

         mapred-site.xml

（参见全分布，相应部分改为localhost，dfs.replication改为1）

格式化：./bin/hadoop namenode -format(只配置时一次)

启动：./bin/start-all.sh

关闭：./bin/stop-all.sh

全分布：

1、修改etc/hosts，注释掉localhost以及hostname所在行

192.168.1.216 master

192.168.1.217 slaver1

192.168.1.218 slaver2

（etc/hostname 修改为相应匹配）

2、修改conf文件夹下masters与slaves文件

3、修改conf文件夹下hadoop-env，设置到JDK路径

 编辑core-site.xml:

[plain] view plaincopy

1. <configuration>  
2.    <property>  
3.         <name>fs.default.name</name>  
4.         <value>hdfs://192.168.1.216:9000</value>  
5.     </property>  
6.     <property>  
7.         <name>hadoop.tmp.dir</name>  
8.         <value>/home/ubuntu/log/hadoop/tmp</value>  
9.     </property>  
10. </configuration>  

         hdfs-site.xml:

[plain] view plaincopy

1. <configuration>  
2.   <property>  
3.         <name>dfs.permissions</name>  
4.         <value>false</value>  
5.     </property>  
6.     <property>  
7.         <name>dfs.replication</name>  
8.         <value>3</value>  
9.     </property>
10. </configuration>  

         mapred-site.xml:

[plain] view plaincopy

1. <configuration>  
2.   <property>  
3.         <name>mapred.job.tracker</name>  
4.         <value>192.168.1.216:9001</value>  
5.     </property>  
6. </configuration>  

4、格式化、启动。

5、ssh tk2 

      jps

     查看各节点的进程

6、测试：

     ./bin/hadoop jar hadoop-example-1.2.1.jar pi 100 20

或 ./bin/hadoop fs -mkdir /input

     ./bin/hadoop fs -put XXX /input

     ./bin/hadoop jar hadoop-example-1.2.1.jar wordcount /input /output

参考：http://blog.csdn.net/wyswlp/article/details/10564847

           http://blog.csdn.net/lzliu1314/article/details/23380405