Spark 修改整列数据类型+写入数据到HDFS

来源:互联网 发布:现货看盘软件下载 编辑:程序博客网 时间:2024/05/01 00:39

Spark 修改dataset整列数据类型

import org.apache.spark.sql.types.IntegerTypegeoans.select(geoans.col("pointNum").cast(IntegerType).as("lat"))

写入数据到HDFS

a.repartition(3).write.parquet("hdfs://master:9000"+"/data/30sa0")
原创粉丝点击