spark平台搭建

1、准备好相关环境

主要是在集群电脑上安装好java JDK,设置好电脑主机名称，配置Ip地址，利用ssh进行电脑间的连接，并测试好网络连接可靠。搭建hadoop系统(sprak本身不依赖hadoop,这里我想把hadoop用起来)，同时可以预装python、pycharm这些可能用到的编程语言和开发环境。hadoop系统如何搭建可参考我之前的博文。

2、安装spark

至官网下载相应版本的spark安装文件
并解压安装包至目标目录
spark路径添加至环境变量

export SPARK_HOME=/usr/spark-2.2.0-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/bin

设置spark的java路径
/usr/local/spark/conf/spark-env.sh 里面再加上JAVA_HOME路径

# set JDK pathexport JAVA_HOME=/usr/local/jdkexport PATH=$PATH:$JAVA_HOME/bin

编辑主节点上的conf/slaves文件并填上所有工作节点的主机名

启动集群
与hadoop类似，在主节点上，在/usr/spark-2.2.0-bin-hadoop2.7/sbin$ 下有启动集群的脚本，如在命令行进入spark目录后输入sbin/start-all.sh
集群启动成功后可在http://主机名称:8080看到集群管理器的网页用户界面，上面显示着所有的工作节点。

3、安装开发工具python

ubuntu16.04中已经预装了python,至此我们已经可以利用python语言来使用spark平台了。在/usr/spark-2.2.0-bin-hadoop2.7/bin下有个pyspark.cmd，这个就是spark自带的python开发界面，我们可以使用命令行的方式来与spark系统交互。
但由于ubuntu系统有两个版本，系统默认是用2.7版，可自己设置成3.5版的，方法如下

sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

python --version可查看python的当前版本
安装pyspark等库

Spark目录下是有pyspark的，因而在spark的shell里可以使用python来与spark进行交互，但要在python中调用spark的功能，还需要安装pyspark库；
安装其他python库前先安装python的pip工具；

sudo apt-get install python-pipsudo pip install --upgrade pip

安装pyspark，安装方法sudo pip3 install pyspark。在安装过程中可能老是中途中断，有可能是源的问题。可更换源 pip3 install -i https://pypi.doubanio.com/simple/ pyspark;
为了之后数据挖掘的方便，可先预装好一些python库，方法pip3 install -i https://pypi.doubanio.com/simple/ 包名;可预装的库有numpy、Scipy、Pandas、Scikit-Learn、Matplotlib、NLTK、pyspark、scrapy、seaborn、collections等。

4、安装python的集成开发环境

安装IPython或pycharm
IPython 是Python shell的增强版。可在http://ipython.org上找到安装方法
Pycharm也可到官网下载
解压Pycharm安装包到目标目录并添加至环境变量

export PYCHARM_HOME=/usr/pycharm-community-2017.2.3export PATH=$PATH:$PYCHARM_HOME/bin

运行sh pycharm.sh
运行一次，之后就可以在dash里直接输入pycharm找到该程序了，也可以将图标锁定启动器。
在pycharm中新建项目时注意选择合适的翻译器，如python3
在python文件中为避免字符乱码问题，开头加“# -- coding: UTF-8 --”
pycharm断点调度
1，设置断点
在代码前面，行号的后面，鼠标单击，就可以设置断点。
2，调试 断点
点击那个绿色的甲虫图标（似乎甲虫已经成为debug专用图标了），进行断点调试。
点击后，会运行到第一个断点。会显示该断点之前的变量信息。
点击Step Over 或者按F8，我们继续往下运行，到下一个断点：
断点的其他操作，和功能，大家可以把鼠标移到相应的按钮上，看一下，试试便知。

5、运行一个小程序来测试spark与hadoop的连接