当前位置>主页 > 期刊在线 > 信息技术 >

信息技术2019年12期

面向高并发实时交易数据的分布式快速汇总统计
王颖卓,郭开卫,王亚雄
(中国银联 科技事业部,上海 201201)

摘  要:本案涉及计算机数据统计领域的一种数据统计方法和装置,具体来说,首先根据预先设定的过滤规则,对原始交易数据进行过滤处理,得到第一交易数据;然后根据第一交易数据中的关键字信息,确定第一交易数据所对应的计算服务器;最后将第一交易数据发送至计算服务器,以使计算服务器将根据预先设定的统计维度对第一交易数据进行统计得到的第二交易数据发送给查询服务器使用,关键字相同的第一交易数据将会发送至同一计算服务器,而计算服务器可将第二交易数据给查询服务器使用。因此,可通过增加计算服务器的数量的方式水平扩展计算统计的能力,从而提高将数据写入数据库的速度,进而提升数据的查询效率。


关键词:交易数据;实时查询;计算服务器



中图分类号:TP333         文献标识码:A         文章编号:2096-4706(2019)12-0023-03


Distributed Fast Summary Statistics for High Concurrent Real-time Transaction Data

WANG Yingzhuo,GUO Kaiwei,WANG Yaxiong

(China UnionPay Technology Division,Shanghai 201201,China)

Abstract:This case relates to a data statistics method and device in the field of computer data statistics,including:firstly filteringthe original transaction data according to a preset filtering rule to obtain the first transaction data,and then according to the first transactiondata Key information,determining a computing server corresponding to the first transaction data,and finally sending the first transactiondata to the computing server,so that the computing server will perform the second transaction obtained by counting the first transactiondata according to a preset statistical dimension. The data is sent to the query server for use. The first transaction data with the same keywordwill be sent to the same computing server,and the computing server can use the second transaction data for the query server. Therefore,the ability to calculate statistics can be horizontally expanded by increasing the number of computing servers,thereby increasing the speedat which data is written into the database,thereby improving data query efficiency.

Keywords:transaction data;real-time query;computing server


参考文献:

[1] 陆承涛. 存储系统性能管理问题的研究 [D]. 武汉:华中科技大学,2010.

[2] 罗东健. 大规模存储系统高可靠性关键技术研究 [D]. 武汉:华中科技大学,2011.


作者简介:王颖卓(1978.05-),男,汉族,江西赣州人,架构师,硕士,研究方向:大数据开发。