sqoop连接sqlServer

来源:互联网 发布:游戏编程培训学校 编辑:程序博客网 时间:2024/05/22 00:33

背景:最近公司需要把sqlServer的数据导入到hive中方便数据组的同事进行分析。国内资料相对老套,很多资料针对于sqoop1.3及其以下的,所以记录以下,方便后来者。各位看官,开始喽!!!

软件:sqoop-1.4-cdh5.10 sqlServer2005

下面各位看官,跟着小二一起进行sqoop连接sqlServer的奇妙旅程。
总体来说就三点:

1.sqoop1.4不需要connector-hadoop插件

Thank you for your feedback. Sqoop 1.4 doesn’t require sql server
connector. We were providing sql server connectors since sql server
was not part of sqoop 1.3. We will be deprecating this connector soon.

2.sqlServer GBK编码导入hive中后不会乱码。通过sqoop源码可知,sqoop会自动进行编码格式的转换,转成utf-8。
2.1若sqlserver中为特殊编码,不排除转码失败的可能性

3.前提需要把相应驱动放入${SQOOP_HOME}/lib目录下

参考网址:
除官网外:

https://connect.microsoft.com/SQLServer/feedback/details/768839/microsoft-sql-server-connector-for-apache-hadoop

0 0
原创粉丝点击