pyspark 【未完待续】

来源:互联网 发布:工业企业分行业数据 编辑:程序博客网 时间:2024/05/01 19:16

原文

使用python操作spark

1.使用命令行

在PySpark命令行中,一个特殊的集成在解释器里的SparkContext变量已经建立好,变量名叫做sc,创建自己的SparkContext不会起作用。
* 可以通过–master参数来设置这个上下文连接的master主机
* 也可以通过–py-files参数

0 0
原创粉丝点击