什么叫大数据,与云计算有何关系

来源:互联网 发布:excel不同行数据求和 编辑:程序博客网 时间:2024/05/17 06:01

大数据(big data),是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

  大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。

  从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。


大数据和云计算到底是何关系?

关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。

虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。另外,如果做一个更形象的解释,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是Amazon,可以说为云计算提供了商业化的标准,另外值得关注的还有VMware(其实从这一点可以帮助你理解云计算和虚拟化的关系),开源的云平台最有活力的就是Openstack了;

大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化最强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话,“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?(田原)



近200篇云计算、虚拟化、Hadoop、MapReduce、HDFS等云计算相关资料整理下载

  • [PPT]云计算时代的社交网络平台和技术
  • [PPT]汉周云计算白皮书简版
  • [PDF]《云计算 信息产业新浪潮》第一篇 云计算概念解读 -- 锋迈正德云计算报告
  • [PPT] 3G时代的云计算-刘鹏
  • [PDF] 【百度世界2011】潜龙骄首 志在凌云
  • [PDF] HDFS2,一种分布式NN实现
  • [PDF] Hadoop在海量网页检索中的应用之我见
  • [RAR] 云计算ERP开发框架
  • [PDF] 清华云存储:从Corsair到MeePo
  • [PDF] 如何考虑及规划动态的 IT 基础架构
  • [PPT] Java与云计算
  • [PDF] DOT一个开发处理大数据软件的分析模型
  • [PDF] 云计算中运营商效益最优的资源分配机制
  • Hadoop 作业调度技术研究
  • [PDF] 云计算下的酒店管理与市场营销
  • [PDF] 2010版桌面虚拟化技术教程
  • [PPT] 云计算时代的社交网络平台和技术
  • [PDF] SAE数据存储的演化
  • [PDF] 云计算数据中心可行性研究报告
  • [PDF] 建立异构环境下的信息架构-虚拟化存储解决方案
  • [PDF] 支付宝数据平台及应用
  • [PDF] 基于云计算技术的业务平台整合方案研究
  • [PDF] IBM-大数据及云计算背景下的信息管理
  • [PPT] 个人Blog架设攻略
  • [PDF] 数据中心和云计算对存储的需求
  • [PDF] SAE云计算平台
  • [PDF] 白皮书 :VMware拨开云雾 认识云计算
  • [PDF] IBM-实现电信云计算管理平台的关键因素
  • [PDF] 高新区云计算中心建设调研报告
  • [PDF] 基于云计算系统的资源负载均衡的方法和设备
  • [PDF] 基于风险的云计算环境用户效用分析
  • [PDF] 基于Hadoop的城市交通碳排放数据挖掘研究
  • [PDF] 虚拟的路 真实的云
  • [PDF] 云计算的技术挑战
  • [PDF] 微软三大云计算产品全概览
  • [PPT] Hadoop与数据分析
  • [PDF] 虚拟化软件 云计算
  • [PDF] 云安全与隐私:解决方法与安全框架
  • [PDF] 云计算:体系架构与关键技术
  • [PPT] 网格计算与云计算-刘鹏
  • [PPT] 基于海量用户的云安全技术发展
  • [PDF] 世纪互联云计算培训材料
  • [PDF] 跨平台虚拟化管理之道——IBM Systems Director VMControl
  • [PDF] HDFS的透明压缩存储
  • [PDF] 互联网超级云计算平台
  • [PDF] 企业应用的动态交付-Power 服务器虚拟化方案
  • [PDF] 世纪互联刘黎明《云计算与开源》
  • [PDF] Oracle云计算解决方案综览
  • [PDF] HDFS元数据的独立服务和独立持久化存储
  • [PDF] 一种面向虚拟化数字中心资源按需重配置方法
  • [PDF] 数据中心网络高可靠性解决方案
  • [PDF] 云计算科研与应用最新动态
  • [PDF] IBM 企业级数据资源动态优化解决方案
  • [PPT] 基于云计算的物联网关键技术研究
  • [PDF] 下一代绿色数据中心概览
  • [PDF] IBM—借力云计算 腾飞业务转型
  • [PPT] 物联网与云计算
  • [PDF] 云计算&SOA调研报告
  • [PDF] Power驱动地球-为智慧的地球提供智慧的系统
  • [PDF] 智慧企业与云计算
  • [PDF] 云数据管理技术与挑战
  • [PDF] 一步一步教你打造私有云
  • [PDF] 云计算应用 - 国家科学图书馆机构知识库
  • [PDF] 云服务性能监测和评估指南
  • [PDF] 中国云计算产业发展白皮书
  • [PDF] 分布式流数据实时与持续计算
  • [PPT] 云计算--第三次IT产业变革
  • [PDF] 数字校园平台及应用案例介绍
  • [PDF] 工信部电信研究院云计算白皮书(2012)
  • [PDF] 跨平台2地3中心高可用及容灾解决方案深度探讨
  • [PDF] 云计算 系统实例与研究现状
  • [PDF] 云计算安全研究
  • [PPT] 架构变革-云计算的架构
  • 赛迪顾问—中国三大电信运营商面向云计算转型战略研究(2012)
  • [PPT] 谷歌与云计算-Google and Cloud Computing
  • [PDF] 鸿泉云网—物联网云计算解决方案
  • [PDF] 基于Hodoop的SNS统计平台和聚类推荐
  • [PPT] 那些云端运算教我的事
  • [PDF] 直入云端"——IBM 云计算策略概览
  • [PDF] 现代云计算加密技术
  • [PPT] 新一代P2P如何向互联网基础设施演进
  • [PDF] 中国移动业务支撑云计算整体规划简介
  • [PDF] 微软云计算之道
  • [PDF] 新一代企业级虚拟网格存储 XIV,构建存储云计算
  • [PDF] 英特尔中国大数据最佳云实践
  • [PDF] 云计算—31家公司经验分享
  • [PDF] 云计算环境下动态资源管理
  • [PDF] 云计算深度报告
  • [PDF] 中国云计算基础设施产业地图白皮书(2011)
  • [PDF] 云计算研究报告
  • [PDF] 正确理解和运用云计算
  • 走近云计算PDF完整版
  • 云计算的关键技术与应用实例_王鹏_高清PDF扫描版下载
  • Hadoop开发者1-4期打包整理下载,需要的赶紧
  • [PPT] 云计算时代的社交网络平台和技术
  • [PPT] 汉周云计算白皮书简版
  • [PDF] Eucalyptus A Technical Report on an Elastic Utility Computing
  • [PDF] The Challenges and Opportunities in Interfacing Hadoop with Condor
  • [PDF] Cloud Computing What to Ask When the Clouds Roll In
  • eBay’s Hadoop Stack Evolution and Revolution
  • [PPT] Resources and Services Virtualization without Barriers
  • [PDF] Programming Abstractions for Clouds
  • [PDF] The Google File System
  • [PDF] The Apache Way
  • [PDF] Special Issue on Cloud Computing
  • [PDF] Santonu-Accenture-SaaS
  • [PPT] Virtualization, Cloud Computing,and TeraGrid
  • [PDF] The Grid, Cloud Computing and our Manycore Future
  • [PDF] Toward a Unified Ontology of Cloud Computing
  • [PDF] Cloud Computing for parallel Scientific HPC Applications
  • [PDF] Cost-Benifit Analysis of Cloud Computing Versus Desktop Grids
  • [PDF] MapReduce Simplified Data Processing on Large Clusters
  • [PDF] Toward a Unified Ontology of Cloud Computing
  • [PDF] A Testbed for Datacenter Computing
  • [PDF] A Short Introduction To Cloud Platform
  • [PDF] A Service for Data-Intensive Computations on Virtual Clusters
  • [PDF] Cloud Computing
  • [PDF] Cloud Computing Today and Tomorrow
  • [PDF] The Challenges and Opportunities in Interfacing Hadoop with Condor
  • PDF] The State of the Apache Hadoop Ecosystem(Doug Cutting)
  • [PDF] From Grid Computing to Cloud Computing – The IBM Approach
  • [PPT] Cloud Computing From 30,000 Feet
  • [PDF] Cloud Computing and Net Centric Operations
  • [PDF] The Eucalyptus Open-source Cloud-computing System
  • [PDF] The Economic Impact of Cloud Computing on Business Creation, Employmen...
  • [PDF] Cloud Computing and Grid Computing 360-Degree Compared
  • [PDF] LINQ-to-Datacenter
  • [PDF] Cloud-Computing Good bye Big Datacentres Hello Applications running in...
  • [PPT] Cloud Computing
  • [PDF] Enabling Interactive Jobs in Virtualized Data Centers (Extended Abstra...
  • [PDF] Cloud-Computing-and-Grid-Computing-360-Degree-Compared
  • [PDF] Tech Brief Cloud Computing
  • [PDF] IEEE INTERNET COMPUTING Special Issue on Cloud Computing
  • [PDF] The Impact of Cloud Computing on Enterprise Architecture
  • [PDF] Digital Ecosystems in the Clouds Towards Community Cloud Computing
  • [PDF] Cloud-computing-wp-final-8Oct
  • [PDF] Science Clouds Early Experiences in Cloud Computing for Scientific App...
  • [PDF] IBM Moves Toward a -Cloud Computing- Infrastructure
  • [PPT] Google and Cloud Computing
  • [PDF] Application Architecture for Cloud Computing
  • [PDF] Towards Self-Adaptive Service-Oriented Architectures
  • [PDF] Big Data Intelligence
  • [PDF] Big Data Systems and Architecture(NQ)
  • PDF] Sunny Days with Cloud Computing
  • [PDF] Bigtable A Distributed Storage System for Structured Data
  • [PDF] Bring Cloud Computing Inside
  • [PDF] Building mission critical messaging system(Guoqiang Jerry)
  • [PDF] Capacity Leasing in Cloud Systems using the OpenNebula Engine
  • [PDF] Chukwa A large-scale monitoring system
  • [PDF] Cloud Computing What to Ask When the Clouds Roll In
  • [url=http://www.aiitee.com/thread-5693-1-1.html][PDF] Introduction to Cloud Computing Power-All Networks[/url]
  • [PDF] Cloud Computing
  • [PPT] Cloud Computing @ UW
  • [PDF] IBM Introduces Ready-to-Use Cloud Computing
  • [PDF] THUIRDB A Large-Scale, Highly-Efficient Index, Fast-Access Key-Value S...
  • [PDF] Cloud Computing and Cloud Networking
  • [PDF] Cloud Computing And Equal Access For All
  • [PDF] Clover A NameNode Cluster Version of HDFS
  • [PDF] CloudComputing CACM
  • [PDF] HBase Coprocessors and Security
  • [PDF] Using HadoopMapReduce with SolrLucene for Large Scale Distributed Sear...
  • [PDF] Towards Cloud Computing Opportunities and challenges for e-Science
  • [PDF] Perspectives on Cloud Computing and Standards
  • [PDF] MRGIS A MapReduce-Enabled High Performance Workflow System for GIS
  • [PDF] MapReduce 综述
  • [PDF] Technical Report TR-08-07 An Evaluation of Amazon-s Grid
  • [PDF] Cloudstone Multi-Platform, Multi-Language Benchmark and Measurement To...
  • [PDF] Future of Big Data Analytics(Ronaldo Ama)
  • [PDF] Amazon S3 for Science Grids a Viable Solution
  • [PDF] Licensing Oracle Software in the Cloud Computing Environment
  • [PPT] Cloud Computing BOF
  • [PPT] Amazon Web Services Building Highly Scalable Web Applications
  • [PDF] Search Index Building with HBase at eBay(Ming Ma)
  • [PPT] An Introduction to SaaS and Cloud Computing
  • [PPT] Clouds An Opportunity for Scientific Applications
  • [PDF] Data Freeway and Puma Realtime Data Streams and Analytics
  • [PPT] IBM-s Perspective on Cloud Computing
  • [PDF] Big Data Migration Practice using Column Database(p-c)
  • [PPT] CloudComputing
  • [PDF] Deploying Database Appliances in the Cloud
  • [PDF] An-Architectural-Map-of-the-Cloud-Landscape
  • [PDF] Apache BookKeeper High-performance reliable write-ahead logging
  • [PDF] Sector and Sphere The Design and Implementation of a High Performance...
  • Hadoop:The Definitive Guide Second Edition
  • Hadoop_The_Definitive_Guide_First_Edition
  • Hadoop_The_Definitive_Guide_Third_Edition

0 0