第一篇：“大集中”应用系统的结构和技术特点2——海量数据处理

海者，大也！通俗来讲，就是大规模的数据处理。对行业核心应用而言，海量数据处理包括几个方面的含义：
其一：数据库中存储的数据规模庞大，往往有数十道数百GB，甚至会达到TB级数。
其二：应用逻辑在执行过程中可能会涉及大规模的数据处理，包括数据保存、检索、加工等运算。
其三：对于联机事务处理而言，所有数据处理操作都有一个非常严格的响应时间。比如基本的数据存取访问操作，响应时间不得超过3秒；对于复杂的数据检索操作，响应时间不得超过15秒等等。

和海量数据处理对应的，是有限的内存单元。就JVM而言，面对上百G的数据，运行时可用内存往往不超过2GB。

因此，核心应用系统中，架构和应用系统设计的核心技术问题之一就是如何在有限的空间内实现大规模的数据处理。
在数据的存储方面，可以通过联机库、操作库（ODS）和数据仓库等多级数据存储模式来归并历史数据，分别按照联机、查询、数据挖掘分析等不同的目的提供有针对性的优化策略，提升数据访问效率。
在数据操作程序设计方面，要非常关注程序的执行性能问题，从数据结构、程序算法、均衡部署、资源优化分配等方面着手，提升程序的运行效率。