当前位置>主页 > 期刊在线 > 计算机技术 >

计算机技术2019年13期

可装配的大数据流式计算引擎
李爽,张飞,王颖卓
(中国银联 科技事业部,上海 201201)

摘  要:本方案涉及大数据技术领域一种流式数据计算引擎的实现方法和装置,包括:接收用户编辑请求,所述编辑请求中包括算子及其配置信息;根据所述算子及其配置信息提交给编译引擎,编译引擎通过编译识别所述算子及其配置信息,对所述的算子及其配置分配运行空间及监控设备,提交编译后的算子及其配置信息到计算引擎进行数值计算,并通过推送引擎将计算结果通知到最终用户。


关键词:流式数据计算引擎;流式计算算子;算子运行空间



中图分类号:TP274         文献标识码:A         文章编号:2096-4706(2019)13-0100-03


Assemblable Big Data Flow Computing Engine

LI Shuang,ZHANG Fei,WANG Yingzhuo

(Technology Division of China UnionPay,Shanghai 201201,China)

Abstract:This project involves the implementation method and device of a flow data computing engine in the field of big data technology,including:receiving user edit request,which includes operator and configuration information;described according to the operator and its configuration information to compile the engine,engine operator described by compiling recognition and its configuration,its configuration information to described by the operator operating space distribution and monitoring equipment,and its configuration information to submit the compiled operator calculation engine,numerical calculation,and the results to the end user via the push engine.

Keywords:flow data computing engine;flow calculation operator;operator operating space


参考文献:

[1] 孙大为. 大数据流式计算:应用特征和技术挑战 [J]. 大数据,2015,1(3):99-105.

[2] 靳永超,吴怀谷. 基于Storm 和Hadoop 的大数据处理架构的研究 [J]. 现代计算机(专业版),2015(4):9-12.

[3] 张华,王东辉,吴烜. 流式计算的分布式框架的应用 [J].信息与电脑(理论版),2014(10):142-143.

[4] 刘子英,唐宏建,肖嘉耀,等. 基于流式计算的Web 实时故障诊断分析与设计 [J]. 华东交通大学学报,2014,31(1):119-123.

[5] 朱月琴,谭永杰,张建通,等. 基于Hadoop 的地质大数据融合与挖掘技术框架 [J]. 测绘学报,2015,44(S1):152-159.

[6] 李国杰,程学旗. 大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考 [J]. 中国科学院院刊,2012,27(6):647-657.


作者简介:

李爽(1986.04-),男,汉族,辽宁鞍山人,中级职称,本科,研究方向:大数据开发;

通讯作者:

张飞(1981.05-),男,汉族,陕西西安人,中级工程师,本科,研究方向:大数据开发;

王颖卓(1978.05-),男,汉族,江西赣州人,架构师,硕士,研究方向:大数据开发。