摘 要：随着大数据时代的到来，人们对数据的关注达到了前所未有的程度。在学习基于 Hadoop 开源项目的大数据框架的时候，对运行环境的要求十分苛刻，但是通过容器技术快速搭建多节点 Hadoop 集群的方案可以完美地解决复杂烦琐的配置问题。相较于传统的部署方式，运用容器技术可以快速实现环境的搭建和部署，该方案具有轻量、易移植、易伸缩的优点，极大地节省了时间成本和人力成本，而且安全性和可靠性也能得到保障。
关键词：容器；大数据；Hadoop；多节点
DOI:10.19850/j.cnki.2096-4706.2022.013.019
基金项目：广州工商学院大学生创新创业训练计划资助项目（xj202213714069）
中图分类号：TP311 文献标识码：A 文章编号：2096-4706（2022）13-0077-05
A Fast Deployment Scheme of Multi Node Hadoop Cluster Based on Docker Container
QIN Huang, LIU Xiaojuan, LI Man, LIU Xiaoli
(Guangzhou College of Technology and Business, Guangzhou 518200, China)
Abstract: With the advent of the era of big data, people have paid unprecedented attention to data. When learning the big data framework based on Hadoop open source project, the requirements for the operating environment are very strict, but the solution of quickly building a multi node Hadoop cluster through container technology can perfectly solve the complex and cumbersome configuration problems. Compared with the traditional deployment method, the application of container technology can quickly realize the construction and deployment of the environment. This scheme has the advantages of light weight, easy transplantation and easy scalability, which greatly saves time and labor costs, and the safety and reliability can also be guaranteed.
Keywords: container; big data; Hadoop; multi node
参考文献：
[1] 张丽敏，高晶，李务斌，等 . 微服务环境下容器编排可视化实践研究 [J]. 计算机工程与科学，2019，41（8）：1366-1373.
[2] 李巍，赵永彬，王鸥，等 . 基于 Macvlan 的 Docker 容器网络架构研究 [J]. 机械设计与制造，2017（5）：270-272.
[3] 王焱，吴青林 . 基于 Docker和 OpenStack 的高校大数据云实验室构建 [J]. 实验技术与管理，2019，36（9）：254-258.
[4] 应毅，刘亚军，任凯 . 基于容器云的分布式深度学习实验平台构建 [J]. 实验技术与管理，2022，39（3）：147-152.
[5] 李杰，刘广钟 .Hadoop 分布式集群的自动化容器部署研究 [J]. 计算机应用研究，2016，33（11）：3404-3407+3445.
作者简介：秦黄（2001.04—），男，汉族，广西桂林人，本科在读，研究方向：大数据存储、深度学习；刘晓娟（1990.07—），女，瑶族，广西贺州人，专任教师，硕士研究生，研究方向：大数据存储；李满（1966.12—）女，汉族，河南南阳人，副教授，硕士，研究方向：虚拟现实技术、人工智能；刘晓莉（2001.04—）女，汉族，广东深圳人，本科在读，研究方向：大数据技术。