sparksql语法,通过映射方式读txt
来源:互联网 发布:qq远程监控软件 编辑:程序博客网 时间:2024/06/11 07:49
Inferring the Schema Using Reflection(通过映射指定schema)--声明一个类scala> case class Person(name: String, age: Int)defined class Person--读取txt文件内容,然后映射到类的字段,转化成dataframescala> val people = sc.textFile("hdfs://node1:8020/test/input/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()people: org.apache.spark.sql.DataFrame = [name: string, age: int]--变量注册成表,表名为peoplescala> people.registerTempTable("people");--执行sqlscala> val teenagers=sqlContext.sql("select name,age from people where age>=13 and age<=19")teenagers: org.apache.spark.sql.DataFrame = [name: string, age: int]scala> teenagers.show+------+---+| name|age|+------+---+|Justin| 19|+------+---+scala> teenagers.select("name").show+------+| name|+------+|Justin|+------+scala> teenagers.countres19: Long = 1--通过位置访问scala> teenagers.map(t => "Name: " + t(0)).collect().foreach(println)Name: Justin--通过字段访问scala> teenagers.map(t => "Name: " + t.getAs[String]("name")).collect().foreach(println)Name: Justin--转化成map对scala> teenagers.map(_.getValuesMap[Any](List("name", "age"))).collect().foreach(println)Map(name -> Justin, age -> 19)
0 0
- sparksql语法,通过映射方式读txt
- sparksql语法,通过编程方式读txt
- sparksql语法,读json
- Sparksql语法,读json
- sparksql语法,读parquet,load,save
- SparkSQL相关语法总结
- txt内容通过另存为方式导入到word中
- 通过修改注册表改变txt文件的默认打开方式
- 自定义SparkSql语法的一般步骤
- VMware虚拟机ip和端口通过nat方式映射主机
- SPARKSQL读SPARK表
- sparkSQL
- SparkSQL
- SparkSQL
- SparkSQL
- SparkSQL 实现UDF的两种方式
- robots.txt语法
- robots.txt 文件语法
- PHP 接口和抽象类的区别实例
- c# GDI+简单绘图(一)
- 如何查看服务消耗的cpu,堆内存等
- iOS/object-c: 枚举类型 enum,NS_ENUM,NS_OPTIONS
- Java enum的用法详解
- sparksql语法,通过映射方式读txt
- QT 通过一个http链接 打开一个浏览器和对应的网页
- SQL基本语法
- Toast只显示最后一条
- 利用JS 在网页上获取并显示当前日期 星期
- oracle创建一个函数例子
- codevs 2471 表达式的转换--二叉树
- MFC入门教程
- VS2010 MFC中实现printf调试功能,即MFC程序利用控制台输出调试信息