摘 要:随着计算机和网络在人们工作和生活中的广泛普及,数据量急剧增加。目前,如何有效地收集和存储数据是当前需要解决的主要问题。在Hadoop 技术的基础上,给出了海量数据处理平台的系统需求分析、系统架构设计和关键模块设计,并阐述了基于Hadoop 技术的数据处理平台开发的要点,为相关研究人员提供了一些参考。
关键词:数据处理平台;大数据;Hadoop
中图分类号:TP311.13;TP391.3 文献标识码:A 文章编号:2096-4706(2019)03-0005-03
Design and Development of Data Processing Platform Based on Hadoop
YAN Yaning
(Xi’an Peihua University,Xi’an 710125,China)
Abstract:With the wide spread of computers and networks in people's work and life,the amount of data has increased dramatically. At present,how to collect and store data effectively is the main problem to be solved. On the basis of Hadoop technology, the system requirement analysis,system architecture design and key module design of mass data processing platform are given,and the key points of data processing platform development based on Hadoop technology are expounded,which provides some references for relevant researchers.
Keywords:data processing platform;big data;Hadoop
参考文献:
[1] 黄素萍,葛萌.Hadoop 平台在大数据处理中的应用研究 [J]. 现代计算机(专业版),2013(29):12-15.
[2] 朱颢东,冯嘉美,张志锋. 基于Hadoop 的大数据处理平台研究 [J]. 华中师范大学学报(自然科学版),2017,51(5):585-590.
[3] 宋均,祝林. 基于云计算的海量数据处理平台设计与实现 [J]. 电讯技术,2012,52(4):566-570.
[4] 王茜,谢萍,王颖. 基于Hadoop 的同步相量数据处理平台性能分析 [J]. 电力信息与通信技术,2014,12(9):1-5.
作者简介:严亚宁(1978.11-),女,汉族,陕西西安人,教师, 讲师,硕士研究生,研究方向:计算机软件开发、大数据分析、数 字媒体技术等。