spark中查询PG数据库老是报无法找到该列
来源:互联网 发布:赛尔网络大赛 编辑:程序博客网 时间:2024/04/29 22:50
最近学习spark的过程中,发现在使用spark中的sql语句查询数据的时候老是报错:
16/11/30 19:38:42 ERROR Executor: Exception in task 0.0 in stage 2.0 (TID 2)
org.postgresql.util.PSQLException: ERROR: column “studentid” does not exist
建议:Perhaps you meant to reference the column “subsidy_train.studentID”.
位置:62
at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2270)
at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:1998)
at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:255)
at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:570)
at org.postgresql.jdbc2.AbstractJdbc2Statement.executeWithFlags(AbstractJdbc2Statement.java:420)
at org.postgresql.jdbc2.AbstractJdbc2Statement.executeQuery(AbstractJdbc2Statement.java:305)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1.(JDBCRDD.scala:399)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD.compute(JDBCRDD.scala:370)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70)
at org.apache.spark.scheduler.Task.run(Task.scala:85)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274)
at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)
弄了很久最后才发现在PG数据库对字段进行查询的时候会默认将字段名大写的变为小写,因此总是无法查找出该列,解决办法:
网上有一位说使用转义引号将变量名括起来/”colName/” ,可是这样还是会报错。最后只能将数据库中的大写字母全换成了小写。
- spark中查询PG数据库老是报无法找到该列
- 数据库查询报错:选择列表中的列 '字段' 无效,因为该列没有包含在聚合函数或 GROUP BY 子句中。
- Oracle查询数据库中含有该列名的数据库表
- pg数据库查询重复数据并可识别空数据列重复
- pg数据库查询重复数据并可识别空数据列重复(二)--优化
- 虚拟机中安装红帽linux6老是报《没有找到可用磁盘》错误提示的解决办法
- 拍照后无法在系统图库中找到该图片
- “/bin 不在PATH 环境变量中,故无法找到该命令”
- HGDB PG表中添加删除列
- 无法找到该wins服务器
- 无法找到该wins服务器
- iis 无法找到该页
- “未明确定义列” ibatis的sqlMap中报该
- flask中报无法找到XX包的错
- python 读取数据库,老是报错
- 使用hibernate查询数据库时候报未明确定义列
- 数据库查询 报错 *****ORA-00918: 未明确定义列
- Spark查询Hive表时没有权限及无法找到表
- Visual Studio 2012出现“无法访问T-SQL组件和安装了不兼容伯 DacFx版本”的解决办法
- Spark2 ML包,机器学习示例数据Affairs
- session依赖cookie,如果浏览器禁用了cookie呢?
- bzoj 1563 [NOI2009]诗人小G 四边形不等式 决策单调dp
- Spring MVC DispatcherServlet介绍(2)
- spark中查询PG数据库老是报无法找到该列
- mybatis基于mapper代理的开发
- 1130
- cocos2dx-3.4 编译apk包 文件名、目录名或卷标语法不正确 解决方案
- Django安装mysqlclient
- Ajax了解(一)
- C 回文字符串
- WPF学习笔记(2)——x名称空间详解 上
- 操作系统实验之基于内核栈切换的进程切换