jvm securerandom.source 导致的sqoop问题分析
来源:互联网 发布:电脑淘宝微淘在哪里找 编辑:程序博客网 时间:2024/06/05 16:04
在利用sqoop做抽取数据的同步过程中,经常发生以下错误。我们一直以为是oracle数据库没有打开或者某种连接异常,导致经常要重跑多次才能成功,甚至一度靠加入调度系统的智能重跑关键字中让任务多次重试,一直未定位到根本问题并找到解决办法(如下图),会影响调度成功率。
而这次,我们临时要在新环境跑sqoop任务,只起了一个sqoop客户端,失败的概率特别高,所以找到这个问题的解决办法就显得异常急迫。我回顾一下当时的解决思路:
- 找dba沟通,明确问题确实不是出在oracle数据库那边,因为数据库的报错一定会返回ORA等异常,而这里明显没到数据库,只是jdbc报了java.sql.SQLRecoverableException。那问题只能出在sqoop或jdbc的上
- 怀疑sqoop的问题,从以前客户端copy sqoop到新客户端,刚开始好了,再多次重试,又报错了。绝望
- 突然回想起来,以前解决过一个sqoop问题好像和jdk相关
- 回忆jdk,在调度机找到$JAVA_HOME/jre/lib/security/java.security,终于发现
当时把securerandom.source=file:/dev/urandom改为了securerandom.source=file:/dev./urandom
- 把所有客户端的jdk都改一下,发现问题不再重现,解决了!
那究竟是什么原因导致jdk 的这个系统参数会引发问题呢?
- Jdk 连接oracle的时,从某个版本开始
The JDBC 11gneeds about 40 bytes of secure random numbers, gathered from /dev/random, toencrypt its connect string.
- linux有两种类型随机数发生器,一个是/dev/random,一个是/dev/urandom,urandom=unlocked random,即非阻塞随机。要产生真实的随机,linux是搜集真实的随机事件放到一个熵池里,当随机事件不足是,/dev/random会阻塞等到有随机事件产生才返回,而/dev/urandom则会重复利用以前的随机事件迅速返回。
- 那这里默认就是使用的/dev/urandom,为什么还是有问题呢?
因为这个版本的jdk,实际上在jdk代码里当匹配到/dev/urandom时实际上还是指向了/dev/random,于是大家就想到了一个变通办法采用/dev/./urandom,在linux系统中,加个点表示当前路径这个和之前一样,但是jdk代码却不不配,就绕过去了
从这个事件中的反思:
- 要重视bug的记录,便于长时间或者工作交接的问题追踪。磨刀不误砍柴工
- 碰到问题不可怕,要培养深入解决问题的习惯,深入解决问题就是提升的机会
阅读全文
2 0
- jvm securerandom.source 导致的sqoop问题分析
- java.security.SecureRandom导致jetty、hadoop启动受阻问题
- java.security.SecureRandom导致jetty、hadoop启动受阻问题
- 关于Eclipse中的 Source Folder导致的路径问题
- 关于Eclipse中的 Source Folder导致的路径问题
- 关于Eclipse中的 Source Folder导致的路径问题
- sqoop遇到的问题
- Tomcat启动时SecureRandom超级慢的问题
- Tomcat启动时SecureRandom超级慢的问题
- Tomcat启动时SecureRandom超级慢的问题
- Tomcat启动时SecureRandom超级慢的问题
- SecureRandom生成随机数超慢 导致tomcat启动时间过长的解决办法
- SecureRandom生成随机数超慢 导致tomcat启动时间过长的解决办法
- 关于SecureRandom导致tomcat启动慢
- JVM的Perm区持续增长导致OOM问题记录
- JVM内存溢出导致的CPU过高问题排查案例
- SecureRandom
- SecureRandom
- JS的平凡之路--简易的图片拖拽排序
- 函数指针,指针函数,返回值为指针的函数
- leetcode 486. Predict the Winner
- html form表单提交后不刷新不跳转的实现方法------
- react最佳入门实践(1)
- jvm securerandom.source 导致的sqoop问题分析
- HDU 4857 逃生(拓扑排序 小的尽量在前)
- 一些疑问,和随心笔记
- 初识JavaScript中的基本数据类型和引用类型
- Unity3D引擎WWW资源加载和缓存(AssetBundle、Texture、Audio)
- HDU 5976 贪心+逆元
- 链表A+B
- 面试高级Java面试题
- Ignite 名词析意