hadoop 集群 远程访问 mysql(通过sqoop从远程数据库服务器向hdfs迁移数据) 屡次失败的原因
来源:互联网 发布:js自定义属性 编辑:程序博客网 时间:2024/06/04 19:01
首先,我介绍一下我搭建的环境(win8系统上的1个VM的工作站,跑了6个centos虚拟机),6个节点,3个datanode,1个 sourcemanager 2个namenode。
设置了虚拟网络ip (非localhost),以下问题在老鸟看来是在平常不过了,但我还是只小鸟,这个问题的解决是我又上了一个台阶啊。同时,我也希望借此博文帮助到大家,让大家少走弯路。聪明的你也可以在我后面揭晓解决方案之前琢磨一下我可能遇到的问题。这样,我想,或许对你更加有帮助啦。
之前在网上收了很多资料,其中有介绍有是jar包导错的,或者原因是访问服务器没有指定特定数据库是带来的问题,还有些是由于权限不足带来的问题,但这些都没有解决我的问题,清一色的会抛出如下exception!!!
15/04/24 08:49:32 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
15/04/24 08:50:36 ERROR manager.CatalogQueryManager: Failed to list databases
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
Last packet sent to the server was 0 ms ago.
........
Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
Last packet sent to the server was 1 ms ago.
.........
Caused by: java.net.ConnectException: Connection timed out
.........
15/04/24 08:50:36 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
Last packet sent to the server was 0 ms ago.
java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
Last packet sent to the server was 0 ms ago.
........
Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
Last packet sent to the server was 0 ms ago.
......
Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
Last packet sent to the server was 1 ms ago.
.......
Caused by: java.net.ConnectException: Connection timed out
.........
后来,找度娘实在解决不了了,只有去google搜了以下问题,其中,搜到了一条原因,他是这样的:
- Something in between Java and DB is blocking connections, e.g. a firewall or proxy.
- hadoop 集群 远程访问 mysql(通过sqoop从远程数据库服务器向hdfs迁移数据) 屡次失败的原因
- 使用sqoop 1.4.4从mysql向hdfs导入表出现链接数据库失败错误的解决办法
- Hadoop Sqoop;从HDFS导入数据到MYSQL数据库中出现中文字符乱码
- sqoop实现mysql与hdfs数据迁移
- sqoop数据迁移(基于Hadoop和关系数据库服务器之间传送数据)
- mysql远程访问数据库(从windows访问centos的mysql数据库)
- sqoop从mysql数据库导入数据到hdfs中
- 1.4 使用Sqoop从MySQL数据库导入数据到HDFS
- [cloudera hadoop]用sqoop将数据从mysql迁移到hbase中出现的错误
- 通过mysql命令行远程访问服务器
- 通过Web Service在本地访问远程数据库的数据
- MySQL数据库不允许从远程访问怎么办
- MySQL数据库不允许从远程访问怎么办
- 通过sqoop 实现hdfs与mysql的数据导入导出
- 【hadoop Sqoop】Sqoop从mysql导数据到hdfs
- MySQL:免远程登录服务器本机访问服务器上的数据库或者服务器之间的数据库远程访问。
- MySql不能远程访问的原因,
- sqoop从mysql导入hdfs数据过程遇到的问题
- Adjusting Chinese New Year Effects in R is Easy
- 澳门--身份证(本国人)正则表达式
- #define/#ifdef
- 在Java应用中使用Json
- 有关ios自动滚动页面以显示被键盘挡住的编辑框的处理
- hadoop 集群 远程访问 mysql(通过sqoop从远程数据库服务器向hdfs迁移数据) 屡次失败的原因
- 香港--身份证(本国人)正则表达式
- 大陆--身份证(外国人)正则表达式
- 黑马程序员——java-集合框架(二)
- UVA 12170 Easy Climb(dp+单调队列优化)
- 第一篇文章:单例模式的6种写法
- ViewGroup重写——网格容器
- An R "meta" book
- 整数因子分解算法