第一篇之认识大数据

来源:互联网 发布:golang 开源服务端 编辑:程序博客网 时间:2024/05/01 20:19

大数据(Big data)

大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

战略意义

大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。

分类

大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。

4个“V”

大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume,Variety,Value,Velocity。

换算单位

最小的基本单位是Byte,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB,
  它们按照进率1024(2的十次方)来计算:
  1Byte = 8 bit
  1 KB = 1,024 Bytes
  1 MB = 1,024 KB = 1,048,576 Bytes
  1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes
  1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes
  1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes
  1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes
  1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
  1 YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes
  1 DB = 1024 YB = 1,237,940,039,285,380,274,899,124,224 Bytes
  1 NB = 1024 DB = 1,267,650,600,228,229,401,496,703,205,376 Bytes

参考:http://baike.baidu.com/link?url=nj1pXN0tsfh0ecI2MrcrE3cXMU4e-cpfy-Jyfqbhrp7tbVLm71f2rVFIQ1ngZTf_uCZLcr3gTZyvJJ3AtKOlY_#refIndex_1_7093827