关于传统企业数据规划的看法

其实这是个很大的话题。也很难一时说清，这里我记录一下自己的看法。估计可能会有很多不对的地方，权当为以后做一些参考。

传统企业的特点

1.组织机构庞大复杂。
组织复杂如果能运行良好，其实也可以。不过一般来讲，组织一旦复杂。公司运行就会受到阻碍。而且组织一旦复杂，牵一发而动全身。当我们需要更新某些部分的时候，从技术角度讲很难下手，从个人利益角度讲也是，公司的利益关系网也是复杂。

2.业务周期长
打个比方，我是生产运营处的一个数据分析课中的业务人员，然后程序后台很多东西都在咨询部门那边，所以每次有需求我要跟他们提。然后又是一个很长周期，等这个需求搞定了我们发现业务人员的需求已经换了。

3.业务差距大，理解沟通困难
很多时候其他部门也不能很好理解我们的需求。因为业务范围的不同。所以往往两边都懂的人沟通起来会比较顺畅。

4.人浮于事，推卸责任
在上面的情况下，就有可能出现人浮于事，推卸责任的现象。
有可能一开始大家的心态都是好的，都想好好完成这个事情。但是发现成本太高了。真的要好好解决要投入大量的精力，而且这个精力的投入可能是纯粹浪费在沟通或者其他不必要的事情上。有句话讲得好，不做不错，多做多错。

5.企业文化落后
传统企业，尤其是几十年的企业，企业文化中往往流动的都是传统的血液。其实这种文化在当初是很好用的。但是到了现在只能说有利有弊。比如过分尊重领导，思想陈旧，做事方法陈旧。优点有增强凝聚力，增强领导能力等等。

6.领导思维落后
这个在我看来是最大的弊端了。这几年数据分析很多，所以很多公司都想搞一搞。但是很多领导其实不懂数据分析是什么。下的决策往往缘木求鱼的效果。

案例

比如一个制造业公司。做快消品几十年。大领导听说数据分析对公司有好处，就想搞这块。然后让小领导去办这个事。然后小领导带着业务人员就开始做。
这里面有几个问题。

1.公司以前一点这方面基础没有。管理方面用类似SAP之类的系统。我们知道这个系统的数据模块主要是使用BW取数来推出报表的。BW就是我们说的传统BI，周期长，效果差，反应迟钝。然后最近流行一个HANA。

2.数据方面，业务部门的数据，是首先由业务部门制定指标，然后咨询部门设计系统。然后由工厂端输入数据。

这里面就有不少问题。
一是，业务部门制定的指标经常会变，因为本身业务也比较复杂，一开始如果没有考虑好，后期就要修改。那如果指标都一年一变的话，对应的数据就没有什么比较的意义。
二是，这个过程涉及到几个部门，由于之前说的沟通不畅，很容易出现很多问题。比如说系统突然出现错误，然后肯定是业务人员发现的，然后通知咨询，咨询开始调试。然后这就是个时间周期，这个周期里面的数据准确怎么保证呢？还有调试的结果也不一定准确，因为不同部门理解不同。

3.业务人员的技术能力问题。这里面所有的人都不懂大数据是什么。因为大数据是有一定门槛的。并不是说说就能懂的。你要用到的东西，远一点的比如机器学习，算法，近一点的python，数据库。都是有一定门槛的。我们的业务人员之前也就用过excel，其他的都不懂。那做个。。。

因为小领导也不懂，但是大领导布置了任务。只能硬着头皮做，所以就让业务人员去做，业务人员能怎么办呢。也是用传统的方法硬着头皮去做呗。
领导希望有一个可以随时取数的数据库，但是我们的数据都是在SAP里的，我们是通过BW取数的。小领导不清楚其他数据库是怎么搞的，只能按照传统思路，也就是硬着头皮写逻辑，就是想用BW做一个数据库表。要我说这连菜刀砍大树都算不上，简直是铅笔刀砍大树。还砍不断！
还有等等类似事情，最终会导致，大家敷衍了事，领导的任务无限延期。

数据分析规划架构

这是我之前做的小计划。

目的

有一个可以随时提取数据进行数据分析的数据仓库
有一套完整的数据分析方案

总体构架

后台存储

数据库包括：

1.SAP
SAP BW BO

2.mysql
兼容性：都可以
特征：底层数据库

3.excel

4.access

建模分析

简单建模

tableau

excel

1.描述分析
2.图表
3.关系分析

相关分析关联分析单因素方差分析双因素方差分析单变量求解规划求解线性回归

4.分类器

聚类分析异常值分析

power bi

复杂建模

python

R

sas

spss

1.描述分析
2.关系分析

关联分析对应分析因子分析

3.回归分析

线性回归逻辑回归

4.分类算法

决策树算法聚类分析时间序列分析

5.模型

自动建模RFM模型信用模型

展示（可视化）

tableau
d3.js
echarts
python
其他（excel，power bi）

核心原理

数据分析方法论

见另一篇方法论。

统计学原理

配色原理

常见的配色方案
参考公司配色

工具介绍

power bi

1.作用

可视化powerbi 标准解决方案:预设分析模型powerbi绿色开发平台

2.兼容性
仅win可用
3.工具
power系列:

pivot：数据的读取、关联map：地图view：透视表powerbi：web，desktop

4.费用
基本免费
部分功能收费，费用较低
5.优缺点
优点：便宜，方案齐全
缺点：可视化图形难看，只可用于WIN

excel

spss

tableau

echarts

python

知识体系

书籍

tableau

《人人都是数据分析师tableau应用实战》

统计学

《商务经济统计学》
《概率论与数理统计》
《统计思维》
《统计学习方法》

数据挖掘

《数据挖掘导论》
《算法导论》
《数据挖掘》
《web数据挖掘》

数据分析

《深入浅出数据分析》
《数据分析：企业的贤内助》
《网站分析》
《实用数据分析》

数据库

《深入浅出SQL》
《hadoop实战》
《学习数据库Mysql》

语言

《利用python进行数据分析》
《python学习手册》
《python科学计算》
《集体智慧编程》
《推荐系统实践》
《机器学习系统设计》
《R语言实战》
《机器学习：使用案例分析》
《python自然语言处理》

方案指导思想

从单个问题出发,最小可行性产品，结合不同处理方式，找到最优解，以有实际结果为导向。

1.从excel到excel到tableau到分析报告PPT10万行，简单分析2.从access到excel100M，简单分析3.从access到spss100M，复杂分析4.从access到power bi/从access到spss modeler百万级别，复杂分析5.从excel到tableau到Python及ppt

需要做的事

数据准备

数据梳理

业务模型梳理

1.基础数据

字段名字段类型

2.指标数据

字段名字段类型公式逻辑关系代表什么

3.数据结构建立

非业务模型数据梳理

图表准备

按作用分类

数据分析方法论准备

描述统计模型准备

常态模型

已有模型优化

日报月报KAI运营成本

开发新模型

非常态模型

汇报
年度总结
专案研究

方法论及方法

方法论:描述统计原理的应用
方法:总体分析,对比分析

实例

描述统计模型1.0

1.其他

表头LOGO简介/注意

2.现状分析

综合评价分析对比分析平均分析

3.原因分析

通过上下钻查看总厂至分厂运营状况分组分析结构分析杜邦分析

4.项目进度
5.预测分析

线性回归

分析模型

swot模型

考核模型

数据挖掘模型准备

常态模型

非常态模型

方法论及方法

方法论
方法:回归分析,决策树