从零开始系列之spark与mongodb连接的安装记录_java方向（1）

本文不涉及hadoop

1、前置条件

64位操作系统：ubuntu16.04LTS  

java： jdk 1.8.0_144 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

scala：2.12.1 下载地址：https://downloads.lightbend.com/scala/2.12.1/scala-2.12.1.tgz

spark：spark-2.1.0-bin-hadoop2.7 下载地址：https://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz

mongodb：3.4.9 安装方式 http://blog.csdn.net/xsj_blog/article/details/71106133?locationNum=7&fps=1

2、步骤

• 首先安装mongodb，在执行“sudo apt-get update”命令时出错：

     Error in `xxx': double free or corruption (fasttop) 
     *****/libappstream.so.3****

          最后使用下面命令解决问题

     sudo apt-get purge libappstream3

• 然后将jdk、scala、spark解压到某个路径下，如“/home/xx/Downloads/”，使用命令

       vi /etc/profile    //打开profile文件，并在文件末尾加上      export JAVA_HOME=/home/xx/Downloads/jdk1.8.0_144      export JRE_HOME=${JAVA_HOME}/jre      export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib      export PATH=${JAVA_HOME}/bin:$PATH      export SCALA_HOME=/home/xx/Downloads/scala-2.12.1      export PATH=${SCALA_HOME}/bin:$PATH      export SPARK_HOME=/home/xx/Downloads/spark-2.1.0-bin-hadoop2.7      export PATH=${SPARK_HOME}/bin:$PATH    //保存并退出，使用      source /etc/profile    //命令使刚才的配置生效。依次输入      java -version      scala -version    //看看能否正确显示对应的版本号，输入      ${SPARK_HOME}/sbin/start-master.sh     //启动spark master，查看日志或者在浏览器中输入      http://[spark服务器地址]:8080/    //看是否启动成功（日志路径：${SPARK_HOME}/logs/。我在这里遇到了日志不能写入的问题，解决方法是手工创建logs目录，并用chmod 777给该文件夹开通权限）。

• 关闭spark命令

  ${SPARK_HOME}/sbin/stop-all.sh

• 要想使spark mongodb connetor工作，还需要向spark中附加一个worker，命令如下

  ${SPARK_HOME}/bin/spark-class org.apache.spark.deploy.worker.Worker spark://[ip]:[port]

  例如：

  ${SPARK_HOME}/bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.67.129:7077