程序博客网 > php在线讲解

spark的安装部署--10（源码编译安装hadoop+spark+解决64位系统本地库问题）

来源：互联网 发布：php在线讲解 编辑：程序博客网 时间：2024/05/01 00:43
  • Centos7
  • hadoop-2.4.0-src.tar.gz
  • jdk-7u71-linux-x64.tar.gz  
  • scala-2.10.4.tgz
  • spark-1.2.0-bin-hadoop2.4.tgz

Spark的开发环境，本文选择Windows7平台，IDE选择IntelliJ IDEA。在Windows中，需要安装以下软件：

  • IntelliJ IDEA 13.1.4 Community Edition
  • apache-maven-3.2.3-bin.zip

1. 安装JDK

解压jdk安装包到/usr/lib目录：

1 sudo cp jdk-7u71-linux-x64.gz /usr/lib2 cd /usr/lib3 sudo tar -xvzf jdk-7u71-linux-x64.gz4 sudo gedit /etc/profile

在/etc/profile文件的末尾添加环境变量：

1 export JAVA_HOME=/usr/lib/jdk1.7.0_712 export JRE_HOME=/usr/lib/jdk1.7.0_71/jre3 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH4 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

保存并更新/etc/profile：

1 source /etc/profile

测试jdk是否安装成功：

1 java -version

2. 安装及配置SSH 

1 sudo apt-get update2 sudo apt-get install openssh-server3 sudo /etc/init.d/ssh start

生成并添加密钥：

1 ssh-keygen -t rsa -P ""  2 cd /home/hduser/.ssh 3 cat id_rsa.pub >> authorized_keys

ssh登录：

1 ssh localhost

3. 安装hadoop2.4.0

采用伪分布模式安装hadoop2.4.0。解压hadoop2.4.0到/usr/local目录：

1、编译前的准备(maven)
maven官方下载地址，可以选择源码编码安装，这里就直接下载编译好的 就可以了
  1. wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip  
解压文件后，同样在/etc/profie里配置环境变量
  1. export MAVEN_HOME=/opt/maven3.1.1  
  2. export PATH=$PATH:$MAVEN_HOME/bin  
验证配置是否成功: mvn -version
  1. Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2015-03-11 23:22:22+0800)  
  2. Maven home: /opt/maven3.1.1  
  3. Java version: 1.7.0_71, vendor: Oracle Corporation  
  4. Java home: /opt/jdk1.7/jre  
  5. Default locale: en_US, platform encoding: UTF-8  
  6. OS name: "linux", version: "2.6.32-358.el6.x86_64", arch: "amd64", family: "unix"  
2、编译hadoop
首先官方下载hadoop源码
  1. wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.0/hadoop-2.4.0-src.tar.gz  
  如果是32bit的机器，可以直接下载官方已经编译好的包，64bit的机器需要自行编译。
        在maven目录下，conf/settings.xml,在<mirrors></mirros>里添加，原本的不要动
  1. <mirror>  
  2.      <id>nexus-osc</id>  
  3.       <mirrorOf>*</mirrorOf>  
  4.   <name>Nexusosc</name>  
  5.   <url>http://maven.oschina.net/content/groups/public/</url>  
  6. </mirror>  
    同样，在<profiles></profiles>内新添加
  1. <profile>  
  2.        <id>jdk-1.7</id>  
  3.        <activation>  
  4.          <jdk>1.7</jdk>  
  5.        </activation>  
  6.        <repositories>  
  7.          <repository>  
  8.            <id>nexus</id>  
  9.            <name>local private nexus</name>  
  10.            <url>http://maven.oschina.net/content/groups/public/</url>  
  11.            <releases>  
  12.              <enabled>true</enabled>  
  13.            </releases>  
  14.            <snapshots>  
  15.              <enabled>false</enabled>  
  16.            </snapshots>  
  17.          </repository>  
  18.        </repositories>  
  19.        <pluginRepositories>  
  20.          <pluginRepository>  
  21.            <id>nexus</id>  
  22.           <name>local private nexus</name>  
  23.            <url>http://maven.oschina.net/content/groups/public/</url>  
  24.            <releases>  
  25.              <enabled>true</enabled>  
  26.            </releases>  
  27.            <snapshots>  
  28.              <enabled>false</enabled>  
  29.            </snapshots>  
  30.          </pluginRepository>  
  31.        </pluginRepositories>  
  32.      </profile>  
编译clean
  1. cd hadoop2.4.0-src  
  2. mvn clean install –DskipTests  
发现异常
  1. [ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.4.0:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version -> [Help 1]  
  2. [ERROR]   
  3. [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.  
  4. [ERROR] Re-run Maven using the -X switch to enable full debug logging.  
  5. [ERROR]   
  6. [ERROR] For more information about the errors and possible solutions, please read the following articles:  
  7. [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException  
  8. [ERROR]   
  9. [ERROR] After correcting the problems, you can resume the build with the command  
  10. [ERROR]   mvn <goals> -rf :hadoop-common  
hadoop2.4.0编译需要protoc2.5.0的支持，所以还要下载protoc，下载地址:https://code.google.com/p/protobuf/downloads/list，要下载2.5.0版本
对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 如果已经安装的可以忽略
  1. yum install gcc  
  2. yum intall gcc-c++  
  3. yum install make  
安装protoc
  1. tar -xvf protobuf-2.5.0.tar.bz2  
  2. cd protobuf-2.5.0  
  3. ./configure --prefix=/opt/protoc/  
  4. make && make install  
安装完配置下环境变量，跟上面过程一样。
需要安装cmake,openssl-devel,ncurses-devel依赖
  1. yum install cmake  
  2. yum install openssl-devel  
  3. yum install ncurses-devel  
可以进行编译了，
  1. mvn package -Pdist,native -DskipTests -Dtar  
时间很长跟网速有关
  1. [INFO] ------------------------------------------------------------------------  
  2. [INFO] Reactor Summary:  
  3. [INFO]   
  4. [INFO] Apache Hadoop Main ................................ SUCCESS [3.709s]  
  5. [INFO] Apache Hadoop Project POM ......................... SUCCESS [2.229s]  
  6. [INFO] Apache Hadoop Annotations ......................... SUCCESS [5.270s]  
  7. [INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.388s]  
  8. [INFO] Apache Hadoop Project Dist POM .................... SUCCESS [3.485s]  
  9. [INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [8.655s]  
  10. [INFO] Apache Hadoop Auth ................................ SUCCESS [7.782s]  
  11. [INFO] Apache Hadoop Auth Examples ....................... SUCCESS [5.731s]  
  12. [INFO] Apache Hadoop Common .............................. SUCCESS [1:52.476s]  
  13. [INFO] Apache Hadoop NFS ................................. SUCCESS [9.935s]  
  14. [INFO] Apache Hadoop Common Project ...................... SUCCESS [0.110s]  
  15. [INFO] Apache Hadoop HDFS ................................ SUCCESS [1:58.347s]  
  16. [INFO] Apache Hadoop HttpFS .............................. SUCCESS [26.915s]  
  17. [INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [17.002s]  
  18. [INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [5.292s]  
  19. [INFO] Apache Hadoop HDFS Project ........................ SUCCESS [0.073s]  
  20. [INFO] hadoop-yarn ....................................... SUCCESS [0.335s]  
  21. [INFO] hadoop-yarn-api ................................... SUCCESS [54.478s]  
  22. [INFO] hadoop-yarn-common ................................ SUCCESS [39.215s]  
  23. [INFO] hadoop-yarn-server ................................ SUCCESS [0.241s]  
  24. [INFO] hadoop-yarn-server-common ......................... SUCCESS [15.601s]  
  25. [INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [21.566s]  
  26. [INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [4.754s]  
  27. [INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [20.625s]  
  28. [INFO] hadoop-yarn-server-tests .......................... SUCCESS [0.755s]  
  29. [INFO] hadoop-yarn-client ................................ SUCCESS [6.748s]  
  30. [INFO] hadoop-yarn-applications .......................... SUCCESS [0.155s]  
  31. [INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [4.661s]  
  32. [INFO] hadoop-mapreduce-client ........................... SUCCESS [0.160s]  
  33. [INFO] hadoop-mapreduce-client-core ...................... SUCCESS [36.090s]  
  34. [INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [2.753s]  
  35. [INFO] hadoop-yarn-site .................................. SUCCESS [0.151s]  
  36. [INFO] hadoop-yarn-project ............................... SUCCESS [4.771s]  
  37. [INFO] hadoop-mapreduce-client-common .................... SUCCESS [24.870s]  
  38. [INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [3.812s]  
  39. [INFO] hadoop-mapreduce-client-app ....................... SUCCESS [15.759s]  
  40. [INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [6.831s]  
  41. [INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [8.126s]  
  42. [INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [2.320s]  
  43. [INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [9.596s]  
  44. [INFO] hadoop-mapreduce .................................. SUCCESS [3.905s]  
  45. [INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [7.118s]  
  46. [INFO] Apache Hadoop Distributed Copy .................... SUCCESS [11.651s]  
  47. [INFO] Apache Hadoop Archives ............................ SUCCESS [2.671s]  
  48. [INFO] Apache Hadoop Rumen ............................... SUCCESS [10.038s]  
  49. [INFO] Apache Hadoop Gridmix ............................. SUCCESS [6.062s]  
  50. [INFO] Apache Hadoop Data Join ........................... SUCCESS [4.104s]  
  51. [INFO] Apache Hadoop Extras .............................. SUCCESS [4.210s]  
  52. [INFO] Apache Hadoop Pipes ............................... SUCCESS [9.419s]  
  53. [INFO] Apache Hadoop Tools Dist .......................... SUCCESS [2.306s]  
  54. [INFO] Apache Hadoop Tools ............................... SUCCESS [0.037s]  
  55. [INFO] Apache Hadoop Distribution ........................ SUCCESS [21.579s]  
  56. [INFO] Apache Hadoop Client .............................. SUCCESS [7.299s]  
  57. [INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [7.347s]  
  58. [INFO] ------------------------------------------------------------------------  
  59. [INFO] BUILD SUCCESS  
  60. [INFO] ------------------------------------------------------------------------  
  61. [INFO] Total time: 11:53.144s  
  62. [INFO] Finished at:   
  63. [INFO] Final Memory: 70M/239M  
  64. [INFO] ------------------------------------------------------------------------  
直到看到上面的内容那就说明编译完成了。
编译后的路径在:hadoop-2.4.0-src/hadoop-dist/target/hadoop-2.4.0
可以看出hadoop的版本
  1. [root@localhost hadoop-2.4.0]# file lib//native/*  
  2. lib//native/libhadoop.a:        current ar archive  
  3. lib//native/libhadooppipes.a:   current ar archive  
  4. lib//native/libhadoop.so:       symbolic link to `libhadoop.so.1.0.0'  
  5. lib//native/libhadoop.so.1.0.0: <span style="color:#ff0000;">ELF 64-bit LSB shared object, x86-64, version 1</span> (SYSV), dynamically linked, not stripped  
  6. lib//native/libhadooputils.a:   current ar archive  
  7. lib//native/libhdfs.a:          current ar archive  
  8. lib//native/libhdfs.so:         symbolic link to `libhdfs.so.0.0.0'  
  9. lib//native/libhdfs.so.0.0.0:   <span style="color:#ff0000;">ELF 64-bit LSB shared object, x86-64, version 1</span> (SYSV), dynamically linked, not stripped  
hadoop编译成功，下面可以来部署集群。
将hadoop2.4.0放到/usr/local目录下

在/etc/profile文件的末尾添加环境变量：

1 export HADOOP_HOME=/usr/local/hadoop-2.4.02 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH3 4 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native5 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

保存并更新/etc/profile：

1 source /etc/profile

在位于/usr/local/hadoop-2.4.0/etc/hadoop的hadoop-env.sh和yarn-env.sh文件中修改jdk路径：

1 cd /usr/local/hadoop-2.4.0/etc/hadoop2 sudo gedit hadoop-env.sh3 sudo gedit yarn-env.sh

hadoop-env.sh：

export JAVA_HOME=/usr/lib/jdk1.7.0_71

yarn-env.sh：

export JAVA_HOME=/usr/lib/jdk1.7.0_71

修改core-site.xml：

1 sudo gedit core-site.xml

在<configuration></configuration>之间添加：

1 <property>2   <name>fs.default.name</name>3   <value>hdfs://localhost:9000</value>4 </property>5 6 <property>7   <name>hadoop.tmp.dir</name>8   <value>/app/hadoop/tmp</value>9 </property>

修改hdfs-site.xml：

1 sudo gedit hdfs-site.xml

在<configuration></configuration>之间添加：

 1 <property> 2   <name>dfs.namenode.name.dir</name> 3   <value>/app/hadoop/dfs/nn</value> 4 </property> 5  6 <property> 7   <name>dfs.namenode.data.dir</name> 8   <value>/app/hadoop/dfs/dn</value> 9 </property>10 11 <property>12   <name>dfs.replication</name>13   <value>1</value>14 </property>

修改yarn-site.xml：

1 sudo gedit yarn-site.xml

在<configuration></configuration>之间添加：

1 <property>2   <name>mapreduce.framework.name</name>3   <value>yarn</value>4 </property>5 6 <property>7   <name>yarn.nodemanager.aux-services</name>8   <value>mapreduce_shuffle</value>9 </property>

复制并重命名mapred-site.xml.template为mapred-site.xml：

1 sudo cp mapred-site.xml.template mapred-site.xml2 sudo gedit mapred-site.xml

在<configuration></configuration>之间添加：

1 <property>2   <name>mapreduce.jobtracker.address </name>3   <value>hdfs://localhost:9001</value>4 </property>

记得要修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh，在最后加上;

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
以及在环境变量中添加
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

在启动hadoop之前，为防止可能出现无法写入log的问题，记得为/app目录设置权限：

1 sudo mkdir /app2 sudo chmod -R hduser:hduser /app

格式化hadoop：

1 hadoop namenode -format

启动hdfs和yarn。在开发Spark时，仅需要启动hdfs：

1 sbin/start-dfs.sh  2 sbin/start-yarn.sh

在浏览器中打开地址http://localhost:50070/可以查看hdfs状态信息：

4. 安装scala 

1 sudo cp /home/hduser/Download/scala-2.10.0.tgz /usr/local2 sudo tar -xvzf scala-2.10.0.tgz

在/etc/profile文件的末尾添加环境变量：

1 export SCALA_HOME=/usr/local/scala-2.10.02 export PATH=$SCALA_HOME/bin:$PATH

保存并更新/etc/profile：

1 source /etc/profile

测试scala是否安装成功：

1 scala -version

5. 安装Spark 

1 sudo cp spark-1.2.0-bin-hadoop2.4.tgz /usr/local2 sudo tar -xvzf spark-1.2.0-bin-hadoop2.4.tgz

在/etc/profile文件的末尾添加环境变量：

1 export SPARK_HOME=/usr/local/spark-1.2.0-bin-hadoop2.42 export PATH=$SPARK_HOME/bin:$PATH

保存并更新/etc/profile：

1 source /etc/profile

复制并重命名spark-env.sh.template为spark-env.sh：

1 sudo cp spark-env.sh.template spark-env.sh2 sudo gedit spark-env.sh

在spark-env.sh中添加：

1 export SCALA_HOME=/usr/local/scala-2.10.02 export JAVA_HOME=/usr/lib/jdk1.7.0_713 export SPARK_MASTER_IP=localhost4 export SPARK_WORKER_MEMORY=1000m

启动Spark：

1 cd /usr/local/spark-1.2.0-bin-hadoop2.42 sbin/start-all.sh


在spark/conf/slave下添加节点关系


测试Spark是否安装成功：

1 cd /usr/local/spark-1.2.0-bin-hadoop2.42 bin/run-example SparkPi
0 0
php在线讲解 php在线讲解
原创粉丝点击
热门IT博客
深圳淘宝运营培训深圳淘宝运营培训
什么是公安大数据技术什么是公安大数据技术
支持java的游戏引擎
matlab 股票数据
php xss csrf
淘宝 寄海外
服务器数据库备份
ubuntu 查看重启日志
电玩巴士淘宝
上海行知实验中学
中医药网络教育
游族网络 林奇个人兴趣
java url路径转成pdf
rgb颜色软件
gps导航端口检测工具
淘宝联盟链接有效期
企业数据库有什么用
淘宝违规申诉失败
java中的线程池
大一c语言期中考试
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 低烧发冷怎么办 先天耐力差怎么办 发烧37.7度怎么办 夜里小孩发烧怎么办 体温37.7度怎么办? 大一荒废了怎么办 肌肉损伤怎么办 头疼无力恶心怎么办 宝宝37.7度怎么办 感冒腰酸背痛怎么办 感冒身上软怎么办 发烧浑身无力怎么办 全身酸痛发烧怎么办 臀部肌肉劳损怎么办 手脚麻木无力怎么办 抽烟浑身无力怎么办 膝关节酸痛无力怎么办 胃胀气难受怎么办 泻肚子拉水怎么办 拉肚子肛门痛怎么办 被学霸看不起怎么办 经常熬夜头痛怎么办 熬夜导致头痛怎么办 跳舞全身酸痛怎么办 腰痛疲劳乏力怎么办 睡眠不足变黑怎么办 早上总是起不来怎么办 睡眠不足犯困怎么办 高中上课睡觉怎么办 睡眠不足很困怎么办 头痛头晕怎么办 睡眠太多头疼怎么办 缺少睡眠头疼怎么办 睡眠不足恶心怎么办 头疼的严重怎么办 孕妇头痛厉害怎么办 睡觉没睡好头疼怎么办 睡眠不足脑袋疼怎么办 睡觉时间少怎么办 睡眠不足精神不好怎么办 孕妇睡眠不足头疼怎么办

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里