Spark的使用方法（二）
来源：互联网 发布：mac 维修 编辑：程序博客网 时间：2024/05/18 00:58
Spark使用过程中报错汇总
报错1： “ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) ”
原因：出现这个错误是因为之前已经启动了SparkContext
解决方法：查看代码，看是否有多次运行SparkContext实例；也可以先关闭spark（sc.stop() // 关闭spark ），然后再启动。
报错2： “AttributeError: ‘PipelinedRDD’ object has no attribute ‘toDF’”
原因：toDF()是运行在Sparksession（1.X版本的Spark中为SQLContext）内部的一个补丁，如果有其他函数用到toDF()，那么需要先创建SparkSession（）。
解决方法：以IndexedRow()为例，当利用IndexedRow（）产生RDD时，需要
sc=SparkContext()SparkSession(sc)#利用SparkSession来使sc具有处理PipelinedRDD的能力indexedRows = sc.parallelize([IndexedRow(0, [1, 2, 3]),IndexedRow(1, [4, 5, 6]),IndexedRow(2, [7, 8, 9]),IndexedRow(3, [10, 11, 12])])阅读全文
0 0
- Spark的使用方法（二）
- jackson的使用方法（二）
- spark入门笔记（二）spark的stanalone模式
- Spark学习（二）-Spark的相关概念
- Spark的standalone源码分析（二）
- c++模版的一些使用方法（二）
- GIS开源库shapeLib的使用方法（二）
- RabbitMQ 基于python的使用方法（二）
- GIS开源库shapeLib的使用方法（二）
- 指针的使用方法【二】
- DownloadManger的使用方法：二
- Spark进阶（二）
- Spark原理（二）
- Spark算子（二）
- 注册表使用方法（二）
- Dom4j 使用方法（二）
- Spark（二） -- Spark简单介绍
- Spark实战-Spark SQL（二）
- shell命令查看某文件夹下的文件个数
- JQuery显示和隐藏和动画代码
- 实验2 一元多项式相加
- VINS理论与代码详解5——基于滑动窗口的单目视觉紧耦合后端优化模型
- sql数据库的四大程序设计语言的语句
- Spark的使用方法（二）
- MVP+RXJAVA+Retrofit+Fresco实现简单的效果
- 华硕固件中frp启动问题
- Junk-Mail Filter
- Postman模拟Request Payload发送请求
- 软件工程概述
- jquery table表格添加删除数据（含批量删除，全选全不选和简单的表单验证）
- 第六讲 流程控制语句
- 通过设置规则生成各种单据编号(二)
