SparkContext转化为JavaSparkContext
来源:互联网 发布:java开源代码论坛 编辑:程序博客网 时间:2024/05/29 04:22
引言
自动Spark2.0发布以来,官方最开始推荐的代码由
final SparkConf conf = new SparkConf().setMaster("local").setAppName("---");final JavaSparkContext ctx = new JavaSparkContext(conf);
这种形式转化成为了
SparkSession spark = SparkSession .builder() .master("local") .appName("---") .getOrCreate();
这种形式,但是这样对于Java程序员有一定问题。
问题
当我们使用Java语言进行编程的时候,尤其是需要对文本文件进行textFile
读取的时候,容易产生类型错误,这样的原因是因为由上面代码实例化的spark
调用sparkContext()
方法获取的context对象是scala的SparkContext
对象,而不是我们最开始的手动方法获取的JavaSparkContext
对象。
所以,当我们调用textFile
方法的时候,返回的数据类型为RDD
而不是JavaRDD
。
解决方法
JavaRDD<String> text = JavaSparkContext.fromSparkContext(spark.sparkContext()) .textFile("path");
使用JavaSparkContext
的fromSparkContext
方法对原本的context
进行数据类型转化即可。
阅读全文
0 0
- SparkContext转化为JavaSparkContext
- SparkContext
- SparkContext
- 汉字转化为拼音
- 汉字转化为拼音
- 汉字转化为拼音
- dataReader转化为dataTable
- ServerStyle转化为图片
- char* 转化为int
- word转化为PDF
- word转化为html
- word转化为图片
- DataReader转化为DataSet
- 字符串转化为日期
- 字符串转化为int
- 整数转化为字符串
- 数字转化为英文
- GridView转化为DataTable
- 把排序数组转化为高度最小的二叉树
- python字符串转日期,日期相加减
- 31STL之优先级队列priority_queue
- 理解函数以及变量作用域问题
- spark性能调优
- SparkContext转化为JavaSparkContext
- 美团CodeM 初赛 A轮 数列互质 莫队
- 关于git和SVN的介绍和区别
- jsp简单介绍
- PRML 公式1.118推导
- Spring Security#OAuth2
- MTK 功能机GPIO配置
- 大话PHP设计模式笔记
- C++并行计算