Spark入门_python
来源:互联网 发布:flume采集mysql数据库 编辑:程序博客网 时间:2024/06/06 16:35
一.安装spark
安装可参照厦门大学数据实验室出的安装教程–Spark快速入门指南 - Spark安装与基础使用
二.Spark Python
参照官方文档–Spark Programming Guide
任何Spark程序都SparkContext开始,SparkContext的初始化需要一个SparkConf对象。所以所有的Spark Python的第一句都应该是
from pyspark import SparkContext,SparkConfconf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)
appName参数是在集群界面将会展示的应用名称,master可以是Spark、Mesos、Yarn的集群URL,或者“local”。实际在集群上运行程序的时候,我们不需要把master 写死,可以通过spark-submit来部署应用并接收参数。本地测试时则用“local”参数
In the PySpark shell, a special interpreter-aware SparkContext is already created for you, in the variable called sc. Making your own SparkContext will not work.
0 0
- Spark入门_python
- 5_python入门(慕课网)
- python 书籍推荐_python 入门书籍(转)
- 3_python入门前100个小程序
- Spark:Spark入门
- Spark入门-什么是Spark
- spark入门
- spark入门
- Spark入门
- spark 入门
- spark入门
- spark 入门
- Spark入门
- spark 入门
- Spark 入门
- Spark入门
- Spark 入门
- Spark入门
- 框架内容填充之medoo数据类
- PHP中session变量的销毁
- 友元函数的来由和使用套路
- 新的开始
- 【js】将1-100之间的奇数存入数组
- Spark入门_python
- adb和adbd分析
- NestedScrolling机制(四)——最后一个例子
- java工具类MD5
- Can't connect to local MySQL server through socket '=/usr/local/mysql/mysql.sock' (2)
- Vector - 三维向量
- 转换函数和explicit
- 机器学习实战学习笔记7——Kmeans
- java格式化输出数字的方法