学术界关于HBase在物联网/车联网/互联网/金融/高能物理等八大场景的理论研究
来源:互联网 发布:什么是大数据分析算法 编辑:程序博客网 时间:2024/05/22 01:33
点击查看全文
引言
HBase在互联网领域有广泛的应用,比如:互联网的消息系统的存储、订单的存储、搜索原材料的存储、用户画像数据的存储等,除此之外,在其它领域也有非常多的应用。这得益于HBase海量的存储量及超高并发写入读取量。HBase在09年就开始在工业界大范围使用,在学术界,也有非常多的高校、机构在研究HBase应用于不同的行业,本文主要梳理下这些资料(主要是中文资料,有一些是硕士论文\期刊,便于广大读者阅读,特别选择了中文资料),很多都在工业界使用了。 由于涉及到版权,笔者提供链接,不提供资源下载,请大家见谅,可以自行搜索或者下载。感谢各位学者辛苦的研究,也论证了hbase技术在大规模存储的优势,在不同领域的应用场景。
HBase最主要的特性
- HBase基于HDFS,可以提供廉价的解决方案。在阿里云ApsaraDB for HBase会发布基于D1、I2的物理机方案,存储成本为0.1元每GB每月左右,且可以在线动态添加节点,增加容量。 无需一次性投入全年的量。
- HBase容量可以无限扩容:在100T的数据量上毫无压力,在1P的数据量上也类似。
- HBase提供超高的并发量:主要得益于系统的除了Master之外的所有节点都直接跟客户端通信,且系统自动分区。有的系统会有一个路由中心,此会极大的限制并发量及流量
- 跟Spark、HadoopMR等分析系统结合
关于 阿里云HBase产品的优势见:阿里云HBase优势
行业
物联网行业 & 车联网
- 基于HBase的海量GIS数据分布式处理实践:设计了一种基于分布式数据库HBase的GIS数据管理系统。系统优化了栅格数据的生成和存储过程,将海量栅格数据直接写入HBase存储、索引。同时,针对矢量空间数据的存储、索引与检索,提出了一种新的rowkey设计,既考虑经纬度,又考虑空间数据类型和属性,使得在按空间位置检索矢量地理信息时,能通过HBase的rowkey迅速定位需要返回的数据。在HBase的集群环境上用真实GIS数据对上述方法进行了验证,结果表明,提出的系统具有较高的海量数据存储和检索性能,实现了海量地理信息数据的高效存储和实时高速检索。
- 基于 HBase的分布式空间数据库技术:针对在大型地理信息系统(GIS)中,需要对海量矢量数据和栅格数据进行存储并对高并发的用户查询请求提供高效响应,传统的设计方案难以满足需求的问题,提出一种使用基于内存存储的分布式数据库HBase存储空间数据,并设计基于GeoHash的分布式空间索引,实现了矢量空间数据与栅格空间数据的分布式存储与快速查询.实验表明,该方法提升了海量空间数据的查询速度.
基于HBase的大规模无线传感网络数据存储系统: 无线传感网络(WSN)存在分布的跨区域性,随着无线传感网络的扩张,传感器数目增多,将产生大规模的传感数据.针对存储大规模无线传感网络数据的问题,提出了一个两层分布式存储架构,使用分布式数据库HBase存储跨区域的无线传感网络数据和全局数据存储管理目录,实现一个近实时的存储系统.实验结果证明,该系统有良好的扩展性、存储和查询效率.
基于HBase的全天候全域出租车聚集实时监测方法:本发明为基于HBase的全天候全域出租车聚集实时监测方法,公开了一种车辆聚集监测方法。本发明首先将监测区域划分成网格,使用历史GPS数据计算出每个网格出租车数的最大值。然后,实时扫描GPS数据,按时刻截取一段时间的数据进行分析,循环扫描每一个网格,如果某个网格连续n个时刻都大于历史最大值,则观察这n个时刻的车数是否呈递增趋势,如果是则继续计算本时刻是否有一定数量的车和上一时刻相同,成立则说明该网格发生车辆聚集,否则扫描下一个网格。本发明利用出租车GPS数据实时监测每个区域,通过海量的历史出租车GPS和实时数据、HBase数据库、Spark计算框架、数据挖掘方法和最小二乘法构建出了一套快速、准确而有效的实时聚集监测方法。
基于HBase的车联网传感数据管理系统设计 :关系型数据库由于面向行存储以及无法扩展等原因,已很难满足大规模车联网传感数据的存储与查询要求.针对该问题,设计了一个基于非关系型数据库HBase存储的车联网传感数据管理系统.该系统采用Hadoop与HBase搭建分布式实验平台,采用C#语言开发Web网页端.通过与传统关系型数据库SQL Server的存储与查询效率进行对比分析,表明HBase在处理大规模车联网传感数据方面具有明显优势.
交通
- 面向海量交通数据的HBase时空索引:针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引.首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合:然后根据组合顺序的不同,提出了四种结构模型,分别讨论了模型的具体构成以及交通数据查询中的适应面;最后提出了相应的时空索引管理算法及基于Hbase时空索引的交通数据查询方法.通过实验验证了提出的HBase时空索引结构能有效提升海量交通数据的区域查询性能,并比较了四种时空索引结构在不同数据规模、不同查询半径以及不同时间范围的查询性能,量化验证了不同索引结构在交通数据查询中的适应场景
- 基于HBase的交通数据区域查询方法:随着智能交通的发展,交通数据呈现出指数性增长.为了提升时空区域查询性能,论文提出了一种基于HBase的交通数据区域查询方法HRQ.该方法利用交通数据的三维时空特性,采用Geohash算法将交通数据的经纬度信息转为Geohash编码,然后与时间组合作为HBase行键,并设计了相应的查询算法.实验结果表明,与直接组合经纬度和时间作为行键的方法相比,在基于时间范围的区域查询上HRQ方法的性能要高30%以上,在基于区域范围的区域查询上HRQ的性能优势随着查询区域的增大而增加.
- 基于HBase的交通流数据实时存储系统:交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题.针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统.该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中.实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能.
- 基于HBase的交通卡口数据存储和查询系统研发:该系统采用分布式架构,前端摄像头传感器以Http协议方式将交通卡口数据发送给Flume分布式采集系统,采集系统对多源异构数据进行分类、聚合规范化整理,然后将不同类型的卡口数据传入到Kafka分布式消息队列中进行数据划分,数据划分中重写了Kafka原有的Partition类,从而更好的实现了卡口数据读取的实时性。Storm分布式实时计算系统从消息队列中获取卡口数据并且完成存储过程,最终将卡口数据写入到HBase集群服务器中。利用Phoenix-client作为HBase之上的Sql层,实现对HBase数据库查询。在保证系统高可靠、高可用的情况下,实现了卡口系统数据的快速写入和读取。
互联网
针对微博信息分析的HBase存储结构设计 :随着互联网的发展,微博对人们生活的影响日益加深。由于微博用户的激增,微博数据量已经非常庞大,且每时每刻都在急速增长。面对这种形势,传统数据库对于海量数据的处理效率已经难以满足需求,于是NoSQL数据库应运而生。文章采用的HBase是目前比较受欢迎的开源NoSQL之一。作为依赖于HDFS分布式存储架构的新型NoSQL数据库,HBase不仅能满足高效的结构化数据存储,并通过Mapreduce实现高效处理,还能存储非结构化数据,为海量数据提供相对灵活的信息存储管理。
基于 HBase 的互联网电视运营分析架构和模型设计
随着云时代的来临,互联网电视(OTT TV)业务吸引了越来越多的关注。新疆建设兵团所处地域辽阔,生产和生活的网络视频化的管理与服务的需求也日益明显。兵团的互联网电视业务在日常运营中会生成并累积大量的用户行为数据。由于不同类型的用户行为数据来自不同的数据平台,数据结构各异且数量庞大,从成本和性能方面考虑,传统的关系型数据库难以出色地完成用户行为分析。为此,本文介绍一种基于Hbase的互联网电视用户行为分析系统架构和模型设计,实现大规模异构行为数据的挖掘分析,为更好的运营兵团地域的互联网电视业务提供解决办法。
电力
- 基于HBase的配用电海量时序数据存取研究:针对配用电海量时间序列数据,目前南方电网普遍采用关系型数据库进行存储,在技术上使用分库、分区、分表、联合索引等方式进行优化,灵活性、可扩展性、存储量等方面都存在问题.为满足配用电海量时间序列数据的存储要求,分析了关系型数据库优缺点,提出采用分布式数据库HBase构建电力系统数据中心以提高系统性能,并重点分析了HBase数据存储机制及实现方法,最后通过仿真实验进行对比.实验结果表明,基于HBase的配用电海量时间序列数据存取技术在存储及查询操作上具有较大的性能优势.
- HBase 在智能电网异构数据同步中的应用:未来的智能电网在运行中将会产生海量的多态、异构数据,对这些数据的可靠获取、实时分析、同步及处理会给电网信息系统带来前所未有的压力。因此,把电网大数据迁移到云端—数据中心,来实现异构数据的精准、实时同步则显得尤为必要。以解决未来智能电网大数据处理问题为出发点,通过对电网数据中心相关功能需求进行细致分析,对比传统的关系型数据库建模基础,提出了基于Hbase架构的智能电网数据中心的解决方案。最后通过对比 MySQL 性能进行模拟测试,得出所提出的设计方案能够很好地适用于未来智能电网数据中心的构建以及异构数据的同步,达到电网大数据的实时共享、监测及准确分析、处理的目的,在未来智能电网信息管理系统中具有广阔的应用前景。
金融
- 基
点击查看全文
- 学术界关于HBase在物联网/车联网/互联网/金融/高能物理等八大场景的理论研究
- 当互联网的产品经理遇上物联网的产品经理,会是怎样的场景?
- 物联网需要自己的互联网吗?
- 有关物联网和互联网的报道
- 物联网需要自己的互联网吗?
- 关于物联网的思考
- 关于物联网平台 你想知道的都在这里!
- 关于自然人在物联网中的痕迹
- 物联网技术在智能制造中的应用场景
- 解读物联网在智能停车领域的应用场景及行业痛点
- 物联网在智能路灯方面的应用场景及行业痛点
- 见招拆招 八大物联网安全关键技术盘点
- 物联网如何在互联网发展的现阶段改变我们的生活
- 关于物联网
- 关于物联网
- 关于在学术界发展的清单
- 物联网金融会带来下一场金融变革吗
- 物联网四大产业群的典型应用场景
- 区块链技术将有可能彻底颠覆音乐行业
- 移动深度学习 Mobile-deep-learning(MDL)
- “正宗”区块链创业项目有哪些技术路子?
- 区块链流派之形态:依你所需,如你所想
- 国外区块链技术应用实例解析4(入门级)
- 学术界关于HBase在物联网/车联网/互联网/金融/高能物理等八大场景的理论研究
- 央行数字货币系统Demo明年要推出了,区块链真的要起飞了吗?
- 区块链技术与法律不是敌对双方,而是并肩战友
- MT8167_TDM_Design_notice_V1
- 区块链简单经济学:交易认证与网络运维成本将大幅下降
- 自由生长的区块链2017年将遭遇些什么?
- Glide4.0加载https图片
- 三个关键词剧透2017年区块链的命运
- Bluzelle——毕马威的新伙伴:金融业再掀区块链热