Spark安装

spark是用scala写的，运行在JAVA虚拟机（JVM）上，所以需要安装JDK（java7+）
如果使用Python 需要2.6+或3.4+
推荐的版本对应：spark 1.6.2-scala 2.10 spark 2.0.0-scala 2.11

选择下载：

（作者当前的ubtun版本为16.04 已经预装好2.7.12版本的python）
jdk-8u131-linux-x64.tar.gz 官网地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Scala-2.11.11.tgz 官网地址：http://www.scala-lang.org/download/2.11.11.html
hadoop-2.6.5.tar.gz 官网地址：http://hadoop.apache.org/releases.html
Spark-2.0.2-bin-hadoop2.6.tgz 官网地址：http://spark.apache.org/downloads.html
IntelliJ IDEA 官网地址：http://www.jetbrains.com/idea/ 注册码：http://idea.lanyus.com

1.安装jdk
切换root用户：su root
进入/usr文件夹：cd /usr
建立文件夹java：mkdir java
将下载的jdk压缩包复制到/usr/java下：cp /home/haha/下载/jdk-8u131-linux-x64.tar.gz ./java
进行解压：tar -xvf jdk-8u131-linux-x64.tar.gz ./java（按tab键可自动补全文件名）
（生成一个jdk1.8.0_131的文件夹）
配置环境变量：
使用文本编辑器gedit打开 /etc/profile（ sudo gedit /etc/profile），在文件最后添加

    export JAVA_HOME=/usr/java/jdk1.6.0_45    export PATH=$JAVA_HOME/bin:$PATH    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

注意修改JAVA_HOME为实际的路径（注意jdk的文件夹名称）

使得文件生效：source /etc/profile

测试：
输入java
输入java -version（若显示了对应的安装版本则安装成功）

不行就重启系统试试！

注意：
切换root用户：su （不记得密码输入sudo su - ; sudo passwd – 重置密码）

2.安装scala
在/usr下建立文件夹层次spark/scala
cd /usr/spark/scala
将下载的scala压缩包复制到/usr/spark/scala下：cp /home/haha/下载/scala-2.11.11.tgz .
解压：tar –zxvf scala-2.11.11.tgz
进入sudo gedit /etc/profile 在下面添加路径：

  export PATH="$PATH:/usr/spark/scala/scala-2.11.11/bin"

使得文件生效：source /etc/profile

测试：
输入scala(能够进入REPL(Read-Eval Print Loop)环境)

不行就重启系统试试！

3.安装hadoop

配置SSH（ssh免密匙登录）

sudo apt-get install sshsudo apt-get install rsyncssh-keygen -t rsa //一路回车cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysssh localhost  //不需要输入密码时即成功

关闭防火墙

ufw disable

创建可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell：

sudo useradd -m hadoop -s /bin/bash

设置密码，可简单设置为 hadoop：

sudo passwd hadoop

增加管理员权限：

sudo adduser hadoop sudo

安装：

sudo tar -zxf /home/zhouxnli/下载/hadoop-2.6.0.tar.gz -C /usr/local  # 解压到/usr/local中cd /usr/local/sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoopsudo chown -R hadoop ./hadoop       # 修改文件权限

配置环境变量：

sudo vim /etc/profile# 在最后添加下面代码export HADOOP_HOME=/usr/local/hadoopexport PATH=$HADOOP_HOME/bin:$PATH

测试Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

hadoop version

后续配置：
安装单机/伪分布式
安装集群

4.安装spark
解压：tar –zxvf spark-1.5.1-bin-hadoop2.6
进入sudo gedit /etc/profile 在下面添加路径：

  SPARK_HOME=/home/spark/spark-lectures/spark-1.5.1-bin-hadoop2.6 （解压后的包所在的路径）  PATH=$PATH:${SPARK_HOME}/bin

使得文件生效：source /etc/profile

不行就重启系统试试！

打开终端，输入：spark-shell测试

5.安装IntellijIDEA
切换root用户，在/usr下新建intellijIDEA文件夹
将下载的压缩包解压到/usr/intellijIDEA下 ：tar -zxvf ideaIU-14.tar.gz -C /usr/intellijIDEA
修改配置文件，加上 export IDEA_JDK=/usr/java/jdk1.6.0_45 ：sudo gedit /etc/profile
进入解压后文件夹的bin文件，运行：sh idea.sh
选择注册码登录（试试注册码）：

C0FHYYCJ22-eyJsaWNlbnNlSWQiOiJDMEZIWVlDSjIyIiwibGljZW5zZWVOYW1lIjoid2VpIGh1YW5nIiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGlvbiI6IiIsImNoZWNrQ29uY3VycmVudFVzZSI6ZmFsc2UsInByb2R1Y3RzIjpbeyJjb2RlIjoiSUkiLCJmYWxsYmFja0RhdGUiOiIyMDE3LTAyLTI2IiwicGFpZFVwVG8iOiIyMDE4LTAyLTI1In1dLCJoYXNoIjoiNTA2NDQ3MS8wIiwiZ3JhY2VQZXJpb2REYXlzIjo3LCJhdXRvUHJvbG9uZ2F0ZWQiOmZhbHNlLCJpc0F1dG9Qcm9sb25nYXRlZCI6ZmFsc2V9-pujnwQxf3C8yHf0amTTAId+Oj1LzpvTsn71x0pvgjvXtx7MWs0AAbAX2L5frRvM/0AzmF7aQuayU5EEcew+J5j0O6RsCxMUilbeeQuCBDZK1bm9NKlAYf90RSKqQ9ViMyjsBVTHoABM0XHNi++XASeBB9g1OUZdzseLZ6pit0G0BPmunKIuX7bqjWewl0okbNIl+bW2y3eD4un9jDODbjMmdlB6T42s6mQ/lDkjD65C5OY1nY2fsVyd4sa4i0iCYwNvzFlDVG/AzziLYNDAdjipE+lN5McMXMfPZuGKkvTJMJk56l5t+jPjdjPRDId+lLqa0GU3zaNP251mm8vmOew==-MIIEPjCCAiagAwIBAgIBBTANBgkqhkiG9w0BAQsFADAYMRYwFAYDVQQDDA1KZXRQcm9maWxlIENBMB4XDTE1MTEwMjA4MjE0OFoXDTE4MTEwMTA4MjE0OFowETEPMA0GA1UEAwwGcHJvZDN5MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAxcQkq+zdxlR2mmRYBPzGbUNdMN6OaXiXzxIWtMEkrJMO/5oUfQJbLLuMSMK0QHFmaI37WShyxZcfRCidwXjot4zmNBKnlyHodDij/78TmVqFl8nOeD5+07B8VEaIu7c3E1N+e1doC6wht4I4+IEmtsPAdoaj5WCQVQbrI8KeT8M9VcBIWX7fD0fhexfg3ZRt0xqwMcXGNp3DdJHiO0rCdU+Itv7EmtnSVq9jBG1usMSFvMowR25mju2JcPFp1+I4ZI+FqgR8gyG8oiNDyNEoAbsR3lOpI7grUYSvkB/xVy/VoklPCK2h0f0GJxFjnye8NT1PAywoyl7RmiAVRE/EKwIDAQABo4GZMIGWMAkGA1UdEwQCMAAwHQYDVR0OBBYEFGEpG9oZGcfLMGNBkY7SgHiMGgTcMEgGA1UdIwRBMD+AFKOetkhnQhI2Qb1t4Lm0oFKLl/GzoRykGjAYMRYwFAYDVQQDDA1KZXRQcm9maWxlIENBggkA0myxg7KDeeEwEwYDVR0lBAwwCgYIKwYBBQUHAwEwCwYDVR0PBAQDAgWgMA0GCSqGSIb3DQEBCwUAA4ICAQC9WZuYgQedSuOc5TOUSrRigMw4/+wuC5EtZBfvdl4HT/8vzMW/oUlIP4YCvA0XKyBaCJ2iX+ZCDKoPfiYXiaSiH+HxAPV6J79vvouxKrWg2XV6ShFtPLP+0gPdGq3x9R3+kJbmAm8w+FOdlWqAfJrLvpzMGNeDU14YGXiZ9bVzmIQbwrBA+c/F4tlK/DV07dsNExihqFoibnqDiVNTGombaU2dDup2gwKdL81ua8EIcGNExHe82kjF4zwfadHk3bQVvbfdAwxcDy4xBjs3L4raPLU3yenSzr/OEur1+jfOxnQSmEcMXKXgrAQ9U55gwjcOFKrgOxEdek/Sk1VfOjvS+nuM4eyEruFMfaZHzoQiuw4IqgGc45ohFH0UUyjYcuFxxDSU9lMCv8qdHKm+wnPRb0l9l5vXsCBDuhAGYD6ss+Ga+aDY6f/qXZuUCEUOH3QUNbbCUlviSz6+GiRnt1kA9N2Qachl+2yBfaqUqr8h7Z2gsx5LcIf5kYNsqJ0GavXTVyWh7PYiKX4bs354ZQLUwwa/cG++2+wNWP+HtBhVxMRNTdVhSm38AknZlD+PTAsWGu9GyLmhti2EnVwGybSD2Dxmhxk3IPCkhKAK+pl0eWYGZWG3tJ9mZ7SowcXLWDFAk0lRJnKGFMTggrWjV8GYpw5bq23VmIqqDLgkNzuoog==

接下来的安装步骤可以参照在 Ubuntu Linux 上安装 IntelliJ IDEA
安装完成后若未创建图标快捷方式可参照Ubuntu 16.04下创建IntelliJ IDEA图标快捷方式
其中需要回忆起一些基本的vim操作参照【Linux入门学习之】vi/vim编辑器必知必会

以上，写下安装环境时，比较关键的点，方便日后回忆和再次安装

---