大数据量统计运算提速方式探讨

作者:烟中隐约闪现 | 创建时间: 2023-08-11
在软件系统中,经常需要提供各种统计数据,而每次生成这些数据都需要耗费较长的时间。这不但给系统带来了很大的负担,而且用户的体验也不好。可是这类情况在软件系统中应该如何应对呢?...
大数据量统计运算提速方式探讨

操作方法

抛开升级硬件,更换开发工具、数据库软件等手段,我们可以通过空间换时间的方式来达到提速的目的。将运算从集中运算分摊到系统的空闲时间来完成,并将中间结果(或最终结果)存储,用于用户统计时使用。对比如下图:

具体实施时我们常用的有两种方式: 方式1: 实时计算中间结果并存储,统计时用中间结果快速生成统计结果。 方式2: 计算最终统计结果并存储,使用时直接显示结果。这种方式根据使用情况不同又可分为两种: 实时运算:如当前系统的年总用水量,每次系统中有新数据则累加到总量上即可,系统结果实时更新。 定时运算:如每月20日为结算日,这时可以在20日2点执行结算统计,并将结果存储起来供调用。

方式1: 实时计算中间结果并存储,统计时用中间结果快速生成统计结果。 优点:中间结果可以作为多种统计运算的源数据。 缺点:系统复杂度增加;存储的数据量变大。 关键点: 1.中间结果的量应远小于原始数据,否则达不到加速的目的。 2.中间结果应根据项目情况来选取,没有哪种中间结果是适用所有统计的。 3. 需处理好原始数据与中间结果的一致性问题。

方式2: 计算最终统计结果并存储,使用时直接显示结果。这种方式根据使用情况不同又可分为两种: 实时运算:如当前系统的年总用水量,每次系统中有新数据则累加到总量上即可,系统结果实时更新。 定时运算:如每月20日为结算日,这时可以在20日2点执行结算统计,并将结果存储起来供调用。 优点:仅存储最终结果,系统数据量小;使用时直接显示结果,显示速度快。 缺点:运算模块通用性差,基本上属于定制。 关键点: 1.此种方式适用于不需要外部输入条件的统计。 2.根据用户使用需求,正确选择是实时运算还是定时运算。

以上只是对于大数据量的统计运算的一种处理思路,仅供参考。

点击展开全文

更多推荐