当前位置>主页 > 期刊在线 > 信息化应用 >

信息化应用22年12期

数据湖在气象信息系统中的应用
徐娟¹,刘鑫²,席晓慧¹,张春燕¹
(1. 甘肃省气象信息与技术装备保障中心,甘肃 兰州 730020;2. 国家气象信息中心,北京 100081)

摘  要:为解决气象信息系统中多套存储设备挂载和管理不便的问题,实现后端存储在前端应用的统一文件目录和数据安全分级管理,引入数据湖技术,搭建了统一的虚拟文件系统,对虚拟文件目录与后端存储数据文件进行有序规划和映射,并利用用户分组和目录授权达到对用户访问气象文件数据的分级管理,有效提高了气象数据的安全管控能力,为气象文件数据的服务应用和气象数据挖掘分析提供了便利。


关键词:数据湖;多源异构存储;虚拟目录;统一



DOI:10.19850/j.cnki.2096-4706.2022.012.033


基金项目: 甘肃省气象局创新团队(GSQXCXTD-2021-01);甘肃省气象信息与技术装备保障中心科技创新基金项目(202109)


中图分类号:TP312                                          文献标识码:A                                 文章编号:2096-4706(2022)12-0127-03


Application of Data Lake in Meteorological Information System

XU Juan1, LIU Xin2, XI Xiaohui 1, ZHANG Chunyan1

(1.Gansu Meteorological Information and Technical Equipment Support Center, Lanzhou 730020, China; 2.National Meteorological Information Center, Beijing 100081, China)

Abstract: In order to solve the problem of inconvenient mounting and management of multiple sets of storage devices in the meteorological information system, realize the unified file directory and data security hierarchical management of back-end storage in front-end applications, this paper introduces the data lake technology, builds a unified virtual file system, and orderly plans and maps the virtual file directory and back-end storage data files. The user grouping and directory authorization are used to achieve the hierarchical management of users’ access to meteorological file data. It effectively improves the security control ability of meteorological data, and provides convenience for the service application of meteorological file data and meteorological data mining and analysis.

Keywords: data lake; multi-source heterogeneous storage; virtual directory; unified  


参考文献:

[1] 胡军军,谢晓军,石彦彬,等 . 电信运营商数据湖技术实施策略 [J]. 电信科学,2019,35(2):84-94.

[2] 陈永南,许桂明,张新建 . 一种基于数据湖的大数据处理机制研究 [J]. 计算机与数字工程,2019,47(10):2540-2545.

[3] 陈柯宇,吕昕蓓,孙韵,等 . 西南油气田数据湖入湖技术研究 [J]. 数字通信世界,2020(12):58+68.

[4] 孙志成,曾鹏 . 第六讲:数据湖技术在石油化工行业中的应用探讨 [J]. 仪器仪表标准化与计量,2020(6):7-8.

[5] 谭跃 . 数据湖赋能城市交通管理 [J]. 道路交通管理,2021(2):90-91.

[6] 李言飞 . 数据湖架构在健康大数据科学计算应用中的构想[J]. 中国卫生信息管理杂志,2020,17(4):533-537.

[7] 赵冰燕,郭彩莲,来志云 . 基于青海气象大数据云平台的数据服务接口 [J]. 青海科技,2021,28(1):82-86+90.

[8] 冯勇,李微,朱辉,等 . 云计算环境下山东省气象大数据云平台的设计与实现 [J]. 信息技术与信息化,2021(5):147-150.


作者简介:徐娟(1990—),女,汉族,甘肃白银人,工程师,本科,研究方向:气象信息技术。