当前位置>主页 > 期刊在线 > 信息技术 >

信息技术2020年2期

智慧城市大数据中的关联规则挖掘研究
姜群¹’²,田立伟¹,李蓉蓉¹,黄欣欣¹
(1. 广东科技学院 计算机学院,广东 东莞 523083;2. 重庆理工大学 计算机科学与工程学院,重庆 400054)

摘  要:为了解决传统关联规则算法在数据存储、挖掘效率和算法的扩展性等方面无法满足智慧城市大数据挖掘需求的问 题,采用Hadoop 及MapReduce 计算框架,实现了数据的分布式存储以及Apriori 算法的并行化计算。在此基础上,通过进一 步的实验,证明了Apriori 算法的挖掘效率及可扩展性。


关键词:关联规则;挖掘;算法



中图分类号:TP311.13;TP393         文献标识码:A         文章编号:2096-4706(2020)02-0020-03


Research on Mining Association Rules in Big Data of Smart City

JIANG Qun1,2,TIAN Liwei1,LI Rongrong1,Huang Xinxin1

(1.College of Computer Science,Guangdong University of Science & Technology,Dongguan 523083,China;2.College of Computer Science and Engineering,Chongqing University of Technology,Chongqing 400054,China)

Abstract:In order to solve the problem of the traditional association rule algorithm unable to meet the needs of mining smart city big data in terms of data storage,mining efficiency and algorithm scalability,this paper uses Hadoop and MapReduce computing frameworks to implement distributed storage of data and parallelized Apriori algorithm. On this basis,through further experiments,the efficiency and scalability of Apriori algorithm are proved.

Keywords:association rule;mining;algorithm


基金项目:广东科技学院高校重点平台建设跃升计划类项目(GKY-2015CQPT-2)


参考文献:

[1] 覃雄派,王会举,杜小勇,等. 大数据分析——RDBMS 与MapReduce 的竞争与共生 [J]. 软件学报,2012,23(1):32-45.

[2] HIPP J,GÜNTZER U,NAKHAEIZADEH G. Algorithms for association rule mining——a general survey and comparison [J].ACM SIGKDD Explorations Newsletter,2000,2(1):58-64.

[3] 何小东,刘卫国. 数据挖掘中关联规则挖掘算法比较研究 [J]. 计算机工程与设计,2005(5):1265-1268.

[4] 姜群,傅瑜,李文生,等. 基于谓词的大数据抽样技术研究 [J]. 重庆理工大学学报(自然科学),2017,31(8):120-124+203.

[5] Lars Vogel. MapReduce Introduction-Tutorial [EB/OL]. [2016-10-10].http://www.vogella.com/tutorials/MapReduce/article.html.

[6] 孟小峰,慈祥. 大数据管理:概念、技术与挑战 [J]. 计算机研究与发展,2013,50(1):146-169.

[7] NIS. Frequent Itemset Mining Implementations Repository [EB/OL].[2012-04-06].http://fimi.ua.ac.be/data/.


作者简介:

姜群(1959-),女,汉族,重庆人,副教授,双硕士学位,主要研究方向:大数据挖掘、智能计算研究;

田立伟(1979-),男,汉族,山东潍坊人,副教授,博士,主要研究方向:云计算大数据。