从1000张表导出数据并在hive中去重
来源:互联网 发布:杜月笙 知乎 编辑:程序博客网 时间:2024/04/30 16:44
第一步:建立shell脚本
#!/bin/sh
for i in $(seq 0 999);do
mysql -hhh-ml-oauth-db00.bj -utj_0420_0423 -p48474e200254b663f18888365f7f5758 passport_oauth2 -e "select user_id from oauth_user_client_relation_${i}" >> t.txt
done
第二部:放入hdfs进行去重
./hive fs -put txt文档的路径 testfile的路径
0 0
- 从1000张表导出数据并在hive中去重
- sqoop从hive中导出oracle数据
- 如何在Hive上建表并导入数据
- 从hbase(hive)将数据导出到mysql
- sqoop从关系库导出数据到hive
- sqoop从关系库导出数据到hive
- MapReduce从HBase多路径导出数据到Hive
- 使用 sqoop从MySQL增量导出数据到hive
- 从Hive导出数据到Oracle数据库--Sqoop
- 10月19_大数据导出多张excel表并打包成zip包下载
- sqoop导入导出表/数据到Hive
- Hive 表数据 加载 、导出 、查询
- sqoop导出hive表数据到mysql
- HIVE表数据导出至本地文件系统
- 十七、Hive 表数据加载、导出、查询
- hive 数据导入导出(单表)
- hive数据导出
- Hive 导入导出数据
- [LeetCode]Rank Scores,解题报告
- Eclipse中10个最有用的快捷键组合
- java web小结
- java.lang.NoClassDefFoundError: org/aspectj/weaver/tools/PointcutPrimitive
- 将session放到memcache上面
- 从1000张表导出数据并在hive中去重
- Eclipse快捷键与使用技巧总结
- android CheckBox控件的定义及事件监听
- Linux 网络编程—— libpcap 详解
- 判欧拉回路或求一个图中欧拉图的个数
- 【日常学习】【最短路Dijkstra】codevs1069 usaco回家 题解
- SVM通俗讲义
- Mac系统终端命令行不执行命令 总出现command not found解决方法
- VC调用matlab中定义的.m文件中的函数的实例