大数据技术之Sqoop配置示例
来源:互联网 发布:淘宝大学学富电商 编辑:程序博客网 时间:2024/04/27 16:59
大数据技术之Sqoop配置示例
hdfstomysql
export
--connect
jdbc:mysql://bigdatacloud:3306/test
--username
root
--password
123
--table
hdfstomysql
--columns
id,name,age
-m
1
--export-dir
hdfs://mycluster/hdfstomysql
mysqltohive
import
--connect
jdbc:mysql://bigdatacloud:3306/test
--username
root
--password
123
--target-dir
/sqoop/THive
--delete-target-dir
--as-textfile
-m
1
--table
T_P
--columns
id,name,age
--hive-import
--hive-overwrite
--hive-table
T_hive
mysqltohdfs
import
--connect
jdbc:mysql://bigdatacloud:3306/test
--username
root
--password
123
--target-dir
/sqoop/T1
--delete-target-dir
--as-textfile
-m
1
--table
T_P
--columns
id,name,age
------------------------
import
--connect
jdbc:mysql://node3:3306/test
--username
root
--password
123456
--query
'select p.id,name,age,c.card_id,date_format(c.create_date,'%Y-%m-%d') as c_date from t_person p join t_id_card c on p.id=c.p_id where p.age>17 and $CONDITIONS'
--target-dir
/sqoop/test3
--delete-target-dir
--as-textfile
-m
1
--null-string
''
--null-non-string
''
--hive-import
--hive-overwrite
--create-hive-table
--hive-table
t_person_card
--hive-partition-key
day
--hive-partition-value
'2016-07-03'
-------------------------
export
--connect
jdbc:mysql://node3:3306/test
--username
root
--password
123456
--table
t_person
--columns
id,name,age
-m
1
--export-dir
hdfs://laoxiao/test
--------------------------------
import
--connect
jdbc:mysql://node3:3306/test
--username
root
--password
123456
--table
t_person
--columns
id,name,age
--where
1=1
--target-dir
/sqoop/test1
--delete-target-dir
--as-textfile
-m
1
--null-string
''
--null-non-string
''
=---------------------------
import
--connect
jdbc:mysql://node3:3306/test
--username
root
--password
123456
--query
'select p.id,name,age,c.card_id,date_format(c.create_date,'%Y-%m-%d') as c_date from t_person p join t_id_card c on p.id=c.p_id where p.age>17 and $CONDITIONS'
--target-dir
/sqoop/test2
--delete-target-dir
--as-textfile
-m
1
--null-string
''
--null-non-string
''
- 大数据技术之Sqoop配置示例
- 大数据技术之Flume 配置示例
- (大数据之sqoop)sqoop的安装及常用操作
- 大数据(八) - Sqoop
- 大数据--sqoop/hive搭建
- sqoop之安装配置
- 大数据技术之Spark
- 大数据技术之Java
- 大数据技术之Scala
- 大数据技术之Hbase
- 大数据技术之Hive
- 大数据技术之R
- Sqoop数据导入大数据平台实例
- hadoop之sqoop抽取数据
- 大数据学习笔记(十四)-Sqoop
- 大数据之环境配置
- 大数据时代之hadoop(六):hadoop 生态圈(pig,hive,hbase,ZooKeeper,Sqoop)
- 大数据时代之hadoop(六):hadoop 生态圈(pig,hive,hbase,ZooKeeper,Sqoop)
- Android4.2中应用接收开机广播(android.intent.action.BOOT_COMPLETED)失败的原因
- 为什么mysql 连接url中useUnicode=true&characterEncoding=UTF-8?
- 【ICON查看器】轻量级图标测试工具ICON STRIKE:快速主屏查看
- YARN
- 上下拖拽切换布局
- 大数据技术之Sqoop配置示例
- 过滤器学习笔记
- 利用Images.xcassets来设置启动页图片
- 给Python爱好者推荐一本好书
- mac下adb命令大全
- 关于接口设计的一些思考
- android杀死进程
- Chrome开发者工具不完全指南(二、进阶篇)
- php网站大数据高并发处理方法简单总结