pyspark lit 常量
来源:互联网 发布:泸州大数据产业园 编辑:程序博客网 时间:2024/06/05 17:50
import org.apache.spark.sql.functions._val longLength = udf((bookTitle: String, length: Int) => bookTitle.length > length)import sqlContext.implicits._val booksWithLongTitle = dataFrame.filter(longLength($"title", $"10"))
注意,代码片段中的 sqlContext
是之前已经实例化的SQLContext对象。
不幸,运行这段代码会抛出异常:
cannot resolve '10' given input columns id, title, author, price, publishedDate;
因为采用 $
来包裹一个常量,会让Spark错以为这是一个Column。这时,需要定义在org.apache.spark.sql.functions中的 lit
函数来帮助:
val booksWithLongTitle = dataFrame.filter(longLength($"title", lit(10)))
阅读全文
0 0
- pyspark lit 常量
- pyspark
- Lit-张量
- Lit Sphere 翻译
- Vertex Lit 顶点光照
- [pyspark] pyspark使用记录
- 鸡仔文学 chick lit
- 线性时不变系统(LIT )
- pyspark笔记
- pyspark例子
- pySpark记录
- pyspark 使用
- pyspark + mongodb
- Learning PySpark
- pyspark-Logisticregression
- pyspark takesample()
- pyspark-wordcount
- pyspark安装
- Html标签--figure
- 图像抠图算法
- MySQL调优系列_日志分析
- iptables
- Matlab 随笔集
- pyspark lit 常量
- Laravel5.1框架关键技术解析(读书笔记)
- 从科学的角度来理解和田玉---第二篇
- Android视频开发基础(二)
- Maven 私服配置
- Image Morphology(图像形态学)
- jquery中bind,live,on,one,delegate的区分
- heartbeat(高可用)+LVS(负载均衡+健康检查)服务配置(apache测试)
- iOS--KVO的实现原理与具体应用