Spark 2.0 DataFrame map操作中Unable to find encoder for type stored in a Dataset.问题的分析与解决

标签： sparkdataframeencode2.0

2016-10-20 12:17 2283人阅读 评论(1)收藏举报

分类：

Spark（42）

作者同类文章X

版权声明：本文为博主原创文章，未经博主允许不得转载。

随着新版本的Spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是SQL的速度真的快了许多。。

 

然而，在其中一个操作时却卡住了。主要是dataframe.map操作，这个之前在spark 1.X是可以运行的，然而在spark 2.0上却无法通过。。

看了提醒的问题，主要是：

******error: Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases. resDf_upd.map(row => {******

针对这个问题，网上所得获取的资料还真不多。不过想着肯定是dataset统一了datframe与rdd之后就出现了新的要求。

经过查看spark官方文档，对spark有了一条这样的描述。

Dataset is Spark SQL’s strongly-typed API for working with structured data, i.e. records with a known schema.

Datasets are lazy and structured query expressions are only triggered when an action is invoked. Internally, aDataset represents a logical plan that describes the computation query required to produce the data (for a givenSpark SQL session).

A Dataset is a result of executing a query expression against data storage like files,Hive tables or JDBC databases. The structured query expression can be described by a SQL query, a Column-based SQL expression or aScala/Javalambda function. And that is why Dataset operations are available in three variants.

从这可以看出，要想对dataset进行操作，需要进行相应的encode操作。特别是官网给的例子

// No pre-defined encoders for Dataset[Map[K,V]], define explicitlyimplicit val mapEncoder = org.apache.spark.sql.Encoders.kryo[Map[String, Any]]// Primitive types and case classes can be also defined as// implicit val stringIntMapEncoder: Encoder[Map[String, Any]] = ExpressionEncoder()// row.getValuesMap[T] retrieves multiple columns at once into a Map[String, T]teenagersDF.map(teenager => teenager.getValuesMap[Any](List("name", "age"))).collect()// Array(Map("name" -> "Justin", "age" -> 19))

从这看出，要进行map操作，要先定义一个Encoder。。

这就增加了系统升级繁重的工作量了。为了更简单一些，幸运的dataset也提供了转化RDD的操作。因此只需要将之前dataframe.map

在中间修改为：dataframe.rdd.map即可。

顶

2

踩

0

 

 

• 上一篇redhat6.4上Cassandra 3.9节点无法加入服务器(unable to bind IP:port)问题的解决
• 下一篇关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded

  相关文章推荐

• • spark源码阅读笔记Dataset（三）structField、structType、schame
• • spark源码阅读笔记Dataset（一）初识Dataset
• • RDD、DataFrame和DataSet的区别
• • spark源码阅读笔记Dataset（二）Dataset中Actions、function、transformations
• • 使用URLEncoder、URLDecoder进行URL参数的转码与解码

• • 给Map排序---按照key的字母
• • 基于NVIDIA显卡的硬编解码的一点心得 （完结）
• • 怎么进行：URLEncode编码 与 URLDecode解码
• • iOS实现地图定位（具体实现代码以及注释详解）
• • Zxing和QR CODE 生成与解析二维码实例（带logo篇）