MySQL推出Applier,可实时复制数据到Hadoop
来源:互联网 发布:淘宝美工网站 编辑:程序博客网 时间:2024/06/04 19:13
MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下,如果从服务器不再局限为一个MySQL服务器,而是其他任何数据库服务器或平台,并且复制事件要求实时进行,是否可以实现呢?
MySQL团队最新推出的 MySQL Applier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题。
用途
例如,复制事件中的从服务器可能是一个数据仓库系统,如Apache Hive,它使用Hadoop分布式文件系统(HDFS)作为数据存储区。如果你有一个与HDFS相关的Hive元存储,Hadoop Applier就可以实时填充Hive数据表。数据是从MySQL中以文本文件形式导出到HDFS,然后再填充到Hive。
操作很简单,只需在Hive运行HiveQL语句'CREATE TABLE',定义表的结构与MySQL相似,然后运行Hadoop Applier即可开始实时复制数据。
优势
在Hadoop Applier之前,还没有任何工具可以执行实时传输。之前的解决方案是通过Apache Sqoop导出数据到HDFS,尽管可以批量传输,但是需要经常将结果重复导入以保持数据更新。在进行大量数据传输时,其他查询会变得很慢。且在数据库较大的情况下,如果只进行了一点更改,Sqoop可能也需要较长时间来加载。
而Hadoop Applier则会读取二进制日志,只应用MySQL服务器上发生的事件,并插入数据,不需要批量传输,操作更快,因此并不影响其他查询的执行速度。
实现
Applier使用一个由libhdfs(用于操作HDFS中文件的C库)提供的API。实时导入的过程如下图所示:
数据库被映射作为一个单独的目录,它们的表被映射作为子目录和一个Hive数据仓库目录。插入到每个表中的数据被写入文本文件(命名如datafile1.txt),数据以逗号或其他符号分割(可通过命令行进行配置)。
详细信息:MySQL Applier for Hadoop
下载地址:mysql-hadoop-applier-0.1.0-alpha.tar.gz(alpha版本,不可用于生产环境)
MySQL团队最新推出的 MySQL Applier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题。
用途
例如,复制事件中的从服务器可能是一个数据仓库系统,如Apache Hive,它使用Hadoop分布式文件系统(HDFS)作为数据存储区。如果你有一个与HDFS相关的Hive元存储,Hadoop Applier就可以实时填充Hive数据表。数据是从MySQL中以文本文件形式导出到HDFS,然后再填充到Hive。
操作很简单,只需在Hive运行HiveQL语句'CREATE TABLE',定义表的结构与MySQL相似,然后运行Hadoop Applier即可开始实时复制数据。
优势
在Hadoop Applier之前,还没有任何工具可以执行实时传输。之前的解决方案是通过Apache Sqoop导出数据到HDFS,尽管可以批量传输,但是需要经常将结果重复导入以保持数据更新。在进行大量数据传输时,其他查询会变得很慢。且在数据库较大的情况下,如果只进行了一点更改,Sqoop可能也需要较长时间来加载。
而Hadoop Applier则会读取二进制日志,只应用MySQL服务器上发生的事件,并插入数据,不需要批量传输,操作更快,因此并不影响其他查询的执行速度。
实现
Applier使用一个由libhdfs(用于操作HDFS中文件的C库)提供的API。实时导入的过程如下图所示:
数据库被映射作为一个单独的目录,它们的表被映射作为子目录和一个Hive数据仓库目录。插入到每个表中的数据被写入文本文件(命名如datafile1.txt),数据以逗号或其他符号分割(可通过命令行进行配置)。
详细信息:MySQL Applier for Hadoop
下载地址:mysql-hadoop-applier-0.1.0-alpha.tar.gz(alpha版本,不可用于生产环境)
0 0
- MySQL推出Applier,可实时复制数据到Hadoop
- MySQL推出Applier,可实时复制数据到Hadoop
- MySQL推出Applier,可实时复制数据到Hadoop
- MySQL推出Applier,可实时复制数据到Hadoop
- MySQL Applier for Hadoop
- MySQL数据复制 Hadoop 实时复制
- Hadoop Applier
- 使用Flume将MySQL表数据实时抽取到hadoop
- 实时抓取MySQL的更新数据到Hadoop canal
- MySQL数据传递 Hadoop 非实时
- 将mysql的数据转存到Hadoop做实时统计分析,应该采用怎样的解决方案
- 用Golden Gate实现mysql到mysql的实时复制
- 实战:sqlserver 数据实时同步到mysql
- 【实战】:sqlserver数据实时同步到mysql
- SqlServer实时数据同步到MySql
- 实时同步MySQL数据到Elasticsearch
- WebSocket 实时更新mysql数据到页面
- Mysql 实时数据同步到 kafka、hdfs
- 查询mysql哪些表正在被锁状态
- Unity多线程(Thread)和主线程(MainThread)交互使用类——Loom工具分享
- 初学unity(简单的视觉欺骗)
- Android ViewPager RadioButton Fragment FragmentPagerAdapter Tab页滑动
- 冒泡排序
- MySQL推出Applier,可实时复制数据到Hadoop
- JavaScript prototype 使用介绍
- Windows 10 UWP页面跳转and传值
- 2 main、单例模式、继承、instanceof
- Quartz定时任务使用配置
- mysql5.5.28.tar.gz编译安装操作笔记
- android auto-Providing Messaging for Auto(UnreadConversation)
- **LeetCode 56. Merge Intervals
- <LeetCode><Easy> 326. Power of Three