数据仓库A

BI

企业大数据服务结构

大数据etl技术

Informatica datastage之类的已经不用了,现用大数据的定制化开发.
greenPlum之前使用的大数据etl平台
①SCD问题处理方法并举例
Slowly Changing Dimensions，中文一般翻译成“缓慢变化维”。缓慢变化维的提出是因为在现实世界中，维度的属性并不是静态的，它会随着时间的流失发生缓慢的变化。这种随时间发生变化的维度我们一般称为
缓慢变化维，并且把处理维度表的历史变化信息的问题称为处理缓慢变化维的问题，有时也称为处理SCD的问题。
如何处理scd :http://blog.sina.com.cn/s/blog_54c021fb01017w8g.html
②ODS是什么,在数据仓库的作用.
：ods是短期的实时的数据，供产品或者运营人员日常使用，而数据仓库是供战略决策使用的数据；ods是可以更新的数据，数据仓库是基本不更新的反应历史变化的数据，还有很多，这里就不一一列举了
操作数据存储ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据

③ETL加载策略并举例
http://www.w2bc.com/article/170778
eif企业信息工厂

事实表
事务粒度事实表–订单明细表
周期快照粒度事实表–sku在柜
累积快照事实表–订单状态
非事实表
切片事实表
蜈蚣事实表 –维度非常多
即席查询
数据集市,小数据仓库.
ODS–Operational Data Store
元数据:视图,维,表结构
汇总用的算法:主题领域,聚集,汇总.
OLAP 联机分析处理–多维数据结构
快速性,可分析性,多维性,信息性
基于维度的多维数据结构
钻取-切片和切块
维度建模

粒度
数据的细化程度,粒度越细,所需要的空间越大,查询性能越慢.
层次
描述明细数据的层次
比如 国家-省-市-县
三种维度建模模型
星形模型
比如订单明细里面只放维度表的id,自己通过维度表去关联数据
雪花模型
事实表被多个维表或者多个层次包围.

多维模型
,,,,
建模的一般过程

电商大数据架构
阿里数据架构

DW数据层

DM数据层–数据集市

ER模型
对象-关系-属性拓扑图
三大范式
–所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本
http://blog.csdn.net/andywuchuanlong/article/details/25913235
数据项，同一列中不能有多个值
–数据库表中的每个实例或行必须可以被唯一地区分
–数据库表中不包含已在其它表中已包含的非主关键字信息
参考文献 ：
http://lib.csdn.net/article/hadoop/59221
http://blog.csdn.net/china_demon/article/details/51891873