记录下从mysql迁移数据到hbase
来源:互联网 发布:宜宾餐饮软件 编辑:程序博客网 时间:2024/06/10 20:20
上一篇文章介绍了sqoop1.99.7的用法,因为不知道什么原因图片都没有显示,所以这次来次更详细的
貌似sqoop1.99以后的版本 不支持从mysql直接导入hbase了.具体我也不知道什么情况,所以我是先将mysql中的数据导入到hdfs中,之后再从hdfs中导入hbase中
1,mysql-->hdfs
输入show version -all 来验证sqoop连接的验证
sqoop1.99.7 从mysql导入hdfs的步骤 根据官网的介绍是:
一.新建2个link 1个是jdbc的link 负责链接mysql的,1个是hdfs的链接,负责链接hdfs文件的
1,新建jdbc的link
2,新建hdfs
2个link都已经建立完毕.
下面需要建立一个job,相当于1个桥梁
我们看到 job已经执行完成,我们去事先建立好的hadoop的文件夹中取看看
我们看到 生成了10个文件 其中一个文件的行数是10万+ 总数量在百万左右
第一步我们就完成了从mysql导入hdfs的步骤,
第二步我们需要将这些文件导入到hbase中,首先我们在hbase中建立一张表 create 'csdn','stat'
表建立完成
执行命令hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,stat:id,stat:stat_date,stat:query,stat:scene,stat:scenename,stat:brand_id,stat:brand_name,stat:goods_id,stat:goods_name,stat:repeat_count,stat:create_time,stat:update_time csdn /mh3/*
等待
貌似有些字段没有对上,回去查下原因 应该是空值的原因 .好了先到这吧
- 记录下从mysql迁移数据到hbase
- mysql到hbase数据迁移之getobject
- 数据从mysql迁移到hbase的一些思考及设计
- [cloudera hadoop]用sqoop将数据从mysql迁移到hbase中出现的错误
- HBase——使用Put迁移MySql数据到Hbase
- 从mssql迁移数据到mysql
- PostgreSQL 数据迁移 (从Mysql到Postgres)
- 数据迁移,从mysql到Oracle
- GoldenGate从oracle迁移数据到mysql
- sqoop从hbase导出数据到mysql
- Mysql到HBase数据迁移-Sqoop工具方法
- mysql数据迁移记录
- Oracle数据迁移至HBase操作记录
- Oracle数据迁移至HBase操作记录
- 数据从MySQL迁移到Oracle需要注意些什么
- 数据从MySQL迁移到 Oracle的注意事项
- 从MySQL到Redis,提升数据迁移的效率
- 如何优雅的将数据从sqlite3迁移到mysql
- Vuex2.0 + Vue-Resource Todo实例
- 卷积神经网络
- 理解深度学习需要重新思考泛化
- 【框架-QT】修改程序图标
- MySQL
- 记录下从mysql迁移数据到hbase
- 【mysql linux安装】Mysql centos安装教程
- Linux(Fedora25) Oracle 11g 新增实例(非图形化)
- Vuex2 实战
- sizeof(string)的问题(很经典)
- 多线程安全
- 详解 Vue & Vuex 实践
- 我与python约个会:32.企业级开发进阶4:正则表达式
- Shell编程