[cloudera hadoop]用sqoop将数据从mysql迁移到hbase中出现的错误
来源:互联网 发布:淘宝刷收藏工具 编辑:程序博客网 时间:2024/06/04 20:04
背景简述
最近做的项目是将数据从mysql迁移到hbase中,使用的环境是cloudera的CDH5,hbase在web界面读写数据都没有问题,在linux terminal 手动建表、添加数据都没有问题,但是,在使用sqoop从mysql中读数据写入hbase中却出现了一下问题:
出现的问题
17/05/15 17:38:06 INFO zookeeper.ZooKeeper: Session: 0x45bc1b0d29c9e91 closed
17/05/15 17:38:06 INFO zookeeper.ClientCnxn: EventThread shut down
17/05/15 17:38:06 WARN security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x (为什么会出现权限不够的情况)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
17/05/15 17:38:06 INFO zookeeper.ClientCnxn: EventThread shut down
17/05/15 17:38:06 WARN security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x (为什么会出现权限不够的情况)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
。。。省略N行
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2210)
17/05/15 17:38:06 ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
。。。省略N行
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2210)
。。。省略N行
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
。。。省略N行
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2210)
at org.apache.hadoop.ipc.Client.call(Client.java:1472)
。。。省略N行
at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3110)
... 28 more
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2210)
17/05/15 17:38:06 ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
。。。省略N行
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2210)
。。。省略N行
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
。。。省略N行
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2210)
at org.apache.hadoop.ipc.Client.call(Client.java:1472)
。。。省略N行
at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3110)
... 28 more
所以,究竟是为什么?hadoop中的权限控制是怎么一回事?看了hadoop中的权限控制相关资料,但是好像跟这个没有关系。
https://community.cloudera.com/t5/CDH-Manual-Installation/Permission-denied-user-root-access-
WRITE-inode-quot-user-quot/td-p/4943 上面给出了解决方法,为什么还要给权限?hadoop权限和linux的权限之间有什么区别?为什么linux的权限不能够满足hadoop的权限?
阅读全文
0 0
- [cloudera hadoop]用sqoop将数据从mysql迁移到hbase中出现的错误
- 使用sqoop将mysql的数据导入到HBase中
- Hadoop Sqoop;从HDFS导入数据到MYSQL数据库中出现中文字符乱码
- sqoop从hbase导出数据到mysql
- sqoop从mysql迁移数据到hive中遇到的问题
- Mysql到HBase数据迁移-Sqoop工具方法
- 将mysql中数据导入到hbase中出现 NoSuchMethodError
- Sqoop将MySQL数据库表中数据导入到HBase表中
- 将mysql数据从Windows迁移到Linux中
- 使用sqoop将oracle数据迁移到hive中
- 使用sqoop把数据从mysql导入到hbase
- 使用sqoop从MYSQL导入数据到HBase合集
- 使用sqoop从MySQL导入数据到HBase
- 使用Sqoop从MySQL导入数据到Hive和HBase
- 用sqoop将mysql数据导入到hdfs中
- Sqoop安装配置与从mysql中导入数据到hbase
- Sqoop安装配置与从mysql中导入数据到hbase
- 用Sqoop从从MySQL导入数据到Hive和HBase
- 计算几何模板
- |BZOJ 1036|树链剖分|线段树|[ZJOI2008]树的统计Count
- LianLianKan
- org.springframework.context.ApplicationContextAware使用理解
- linux线程学习(2)
- [cloudera hadoop]用sqoop将数据从mysql迁移到hbase中出现的错误
- Struts2_第一个struts应用开发
- 码农测试人员,app开发人员修改hosts神器
- The architecture of VLC media framework
- maven 项目jdk版本配置
- Jasmine单元测试
- Pytorch学习笔记(一)
- 文本编辑器
- apache