Spark SQL 初始2 之 DataFrame API(2.0)
来源:互联网 发布:送货打单软件 编辑:程序博客网 时间:2024/06/06 09:34
什么是DataFrame
DataFrame的特点
DataFrame的操作
创建DataFrame
val schamaString ="id,gender,height"
val conf =new SparkConf().setAppName("SQLTEST").setMaster("local")
val sc=new SparkContext(conf)
val peopleDataRDD=sc.textFile("/home/xuetao/Downloads/data.txt")
val sqlCtx=new SQLContext(sc)
val schemaArray=schamaString.split(",")
val schema=StructType(schemaArray.map(fieldName=>StructField(fieldName,StringType,true)))
val
rowRDD:RDD[Row]=peopleDataRDD.map(_.split("")).map(eachRow=>Row(eachRow(0),eachRow(1),eachRow(2)))
valpeopleDF=sqlCtx.createDataFrame(rowRDD,schema)
peopleDF.registerTempTable("people")
val hightMale170=sqlCtx.sql("select id, gender, height frompeople where height>170 and gender='M'")
println("Men whose height are more than 170:"+hightMale170.count())
sc.stop()
新的DataFrame
- Spark SQL 初始2 之 DataFrame API(2.0)
- Spark SQL 之 DataFrame
- Spark SQL中DataFrame API 的解析
- Spark SQL之DataSet(DataFrame)的数据存储顺序
- Spark-Sql之DataFrame实战详解
- Spark-SQL之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- Spark-SQL 之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- Spark-SQL之DataFrame操作大全
- spark dataframe API 整理
- Solr-7.1.0在windows下的安装部署
- Java入门基本概念
- cmd 启动mysql失败 net start/stop mysql 发生系统错误5.拒绝访问
- 反向传播算法的直观理解
- 我的安卓开发半年工作经验总结
- Spark SQL 初始2 之 DataFrame API(2.0)
- trove 基本介绍
- 日记2017,12,20
- 打包签名路径隐藏配置
- Java中HashSet的实现
- idea调测程序快捷键(MAC pro)
- Android使用js方案实现在线浏览pdf文档
- mongoDB简单的数据库创建,文档的增删改,常用命令(二)
- java 面试整理