数据的简介

来源:互联网 发布:mac照片管理 编辑:程序博客网 时间:2024/06/06 21:44

数据的简介

计算机的世界就是数据的世界,任何一个系统、对象、通信都是数据构成的;计算机世界里面任何东西都是由数据构成,每个对象、事物、等等都是用数据来组成的;
在不同的场景下数据用不同的形式来展现。

1. 对cpu来说,只识别二进制数据

  • 计算机(cpu): 是个机器,不会像人一样具有思考、组织、总结等能力,就是通过学习、记忆、执行计算来构成;所以cpu 只认识一串二进制数据
  • 但是二进制数据对人类不友好,不可能让人类记住二机制数据的含义,这时人类就想办法把二机制的数据层层转换成人类可以简单识别的;
  • 具体的事物设计成对象,然后对象里面设置属性和函数(动作)
  • 所以任何现实中的事情都需要通过领域建模来组成数据,最终把数据转换成二进制;内核只识别二机制数据

2. 编程中的数据

  • 我们变成中我们都用数据来表示,比如喜好:运动 001 旅游 003;nage shuming  .。。。;用数字、英文字符串表示比较简单、没有编码问题
  • 我们编程中的代码调试,一般都是string的集合,我们的程序就是对字符串进行组装、拼接、传输。

3. 关系型数据

我们平时的开发一般都是建立的关系型数据库,那类似这类由面向对象的关系型是护具,我们称之为关系型数据;
比如peple 的对象:id name age sex 。。。。。。
关系型数据一般存储在关系型DB (RDS)

4. 大数据

把日常积累的数据按照一定的规则进行存储,一般存储在hadoop hbase 这样的分布式集群上;
  • 存储在hadoop(hdfs) 的数据:一般这些数据没有经过任何的处理和分析,使用前需要通过hadoop 的计算平台MR进行查询、分析、处理然后再用(在线用、离线用)这样的数据一般直接用文件的方式cp 到hdfs上,虽然是用文件的方式cp;但如果从关系型数据库sqoop 同步的数据,也可以用hive 里面的sql 语法来查询、分析数据
  • hbase 的数据:hbase 也是存放大数据、单表可以达到百T级别,单表可以达到10w qps ,但一般是经过MR处理过的数据会批量写到hbase数据库中,这样可以借助hive 完成实时查询数据



0 0
原创粉丝点击