操作方法
抛开升级硬件,更换开发工具、数据库软件等手段,我们可以通过空间换时间的方式来达到提速的目的。将运算从集中运算分摊到系统的空闲时间来完成,并将中间结果(或最终结果)存储,用于用户统计时使用。对比如下图:
具体实施时我们常用的有两种方式: 方式1: 实时计算中间结果并存储,统计时用中间结果快速生成统计结果。 方式2: 计算最终统计结果并存储,使用时直接显示结果。这种方式根据使用情况不同又可分为两种: 实时运算:如当前系统的年总用水量,每次系统中有新数据则累加到总量上即可,系统结果实时更新。 定时运算:如每月20日为结算日,这时可以在20日2点执行结算统计,并将结果存储起来供调用。
方式1: 实时计算中间结果并存储,统计时用中间结果快速生成统计结果。 优点:中间结果可以作为多种统计运算的源数据。 缺点:系统复杂度增加;存储的数据量变大。 关键点: 1.中间结果的量应远小于原始数据,否则达不到加速的目的。 2.中间结果应根据项目情况来选取,没有哪种中间结果是适用所有统计的。 3. 需处理好原始数据与中间结果的一致性问题。
方式2: 计算最终统计结果并存储,使用时直接显示结果。这种方式根据使用情况不同又可分为两种: 实时运算:如当前系统的年总用水量,每次系统中有新数据则累加到总量上即可,系统结果实时更新。 定时运算:如每月20日为结算日,这时可以在20日2点执行结算统计,并将结果存储起来供调用。 优点:仅存储最终结果,系统数据量小;使用时直接显示结果,显示速度快。 缺点:运算模块通用性差,基本上属于定制。 关键点: 1.此种方式适用于不需要外部输入条件的统计。 2.根据用户使用需求,正确选择是实时运算还是定时运算。
以上只是对于大数据量的统计运算的一种处理思路,仅供参考。