大数据关键技术探讨
来源:互联网 发布:创业公司 程序员 编辑:程序博客网 时间:2024/05/21 06:35
大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现的有力武器。
大数据采集一般分为大数据智能感知层:主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统,实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层:提供大数据服务平台所需的虚拟服务器,结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视化接口技术,大数据的网络传输与压缩技术,大数据隐私保护技术等。
二、大数据预处理技术
主要完成对已接收数据的辨析、抽取、清洗等操作。1)抽取:因获取的数据可能具有多种结构和类型,数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型,以达到快速分析处理的目的。2)清洗:对于大数据,并不全是有价值的,有些数据并不是我们所关心的内容,而另一些数据则是完全错误的干扰项,因此要对数据通过过滤“去噪”从而提取出有效数据。
三、大数据存储及管理技术
开发新型数据库技术,数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中,非关系型数据库主要指的是NoSQL数据库,分为:键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。
开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。
四、大数据分析及挖掘技术
- 大数据关键技术探讨
- 大数据的关键技术
- 大数据的关键技术
- 大数据的关键技术
- 大数据关键技术
- 大数据的关键技术
- 大数据关键技术
- 大数据的关键技术
- 大数据治理关键技术解析
- DB2大数据量处理综述及关键技术探讨
- 大数据探讨
- 大数据的关键技术与综述
- 大数据等最核心的关键技术:32个算法
- 大数据等最核心的关键技术:32个算法
- 大数据等最核心的关键技术:32个算法
- 大数据即时分析架构探讨
- J2EE十大关键技术
- 大数据处理关键技术
- 随记录 之 Spring 自学笔记(一) -- IOC(一)
- VisualSVN:允许修改svn提交日志(pre-revpro-change hook)
- 欢迎使用CSDN-markdown编辑器
- easyui tree动态加载
- windbg调试和断点学习总结2
- 大数据关键技术探讨
- Asp.net MVC中防止HttpPost重复提交
- Find Minimum in Rotated Sorted Array
- Android jni开发资料--NDK环境搭建
- 伪静态URLRewrite学习笔记
- 自定义九宫格解锁的实现
- 被入侵后10条行动指南
- Storm_Storm 动态调优,并发度调整
- lua获取时间的方法