摘 要：大规模生产的混流车间制造系统存在资源规模大、约束多等问题，快速找到合适的调度策略是实现高效生产的关键。为解决传统数学规划算法和启发式算法存在的策略求解效率低、自适应性差等问题，文章提出一种基于 DDQN 的智能车间动态自适应调度方法，对车间作业的自适应调度做了研究。通过“一步一推理”的自适用动态调度，可以高效地匹配合适的调度策略动作。
关键词：深度强化学习；DDQN 算法；动态自适应调度
DOI:10.19850/j.cnki.2096-4706.2021.24.034
基金项目：国家自然科学基金（U1701266）； 广东省科技计划（2019A050513011、 2017B090901056）；广州市科技计划（202002030386）
中图分类号：TP18 文献标识码：A 文章编号：2096-4706（2021）24-0133-06
Research on Operation Dynamic Adaptive Scheduling of Hybrid Flow Workshop Based on DDQN Algorithm
CHEN Xiaohang, WANG Meiling, WU Gengfeng, LIANG Kaiqing
(Guangdong University of Technology, Guangzhou 510006, China)
Abstract: In view of the large scale of resources and many constraints of the hybrid flow workshop manufacturing system in mass production, how to quickly find a suitable scheduling strategy is the key to achieve efficient production. In order to solve the problems of low strategy solving efficiency and poor adaptive existing in traditional mathematical programming algorithms and heuristic algorithms, this paper proposes a dynamic adaptive scheduling method for intelligent workshop based on DDQN, research on adaptive scheduling of workshop operations. Through the self-adaptive dynamic scheduling of “one step, one reasoning”, the appropriate scheduling policy actions can be efficiently matched.
Keywords: deep reinforcement learning; DDQN algorithm; dynamic adaptive scheduling
参考文献：
[1] MEILIN WANG，ZHONG R Y，DAI Q Y，et al. A MPNbased scheduling model for IoT-enabled hybrid flow shop manufacturing [J].Advanced Engineering Informatics，2016，30（4）：728-736.
[2] 贾万达，彭艳，石宝东 . 基于 MES 系统的动态环境自适应调度模型 [J]. 现代商贸工业，2021，42（2）：159-160.
[3] ABREU L R，TAVARES-NETO R F，NAGANO M S. A new efficient biased random key genetic algorithm for open shop scheduling with routing by capacitated single vehicle and makespan minimization [J/ OL].Engineering Applications of Artificial Intelligence，2021，104： [2021-11-02].https://doi.org/10.1016/j.engappai.2021.104373.
[4] ŞAHMAN M A. A discrete spotted hyena optimizer for solving distributed job shop scheduling problems [J/OL].Applied Soft Computing，2021，106：[2021-11.02].https：//doi.org/10.1016/ j.asoc.2021.107349.
[5] 肖鹏飞，张超勇，孟磊磊，等 . 基于深度强化学习的非置换流水车间调度问题 [J]. 计算机集成制造系统，2021，27（1）： 192-205.
[6] 李国梁，李峭，徐亚军，等 . 基于 DDQN 的片上网络混合关键性消息调度方法 [J/OL]. 北京航空航天大学学报，[2021-11- 07].https://www.cnki.net/KCMS/detail/detail.aspx?dbcode= CAPJ&dbname=CAPJLAST&filename=BJHK20210424001&v=M zEzMjJBUzZqaDRUQXpscTJBMGZMVDdSN3FkWmVac0Z5M2x WcjdCSlY0PUp5ZkRaYkc0SE5ETXE0MUJaT3NPWXdrN3ZC.
[7] 刘东宁，徐哲 . 基于多优先规则启发式的分布式多项目随机调度 [J]. 系统工程理论与实践，2021，41（12）：3294-3303.
[8] 秦浩翔，韩玉艳，陈庆达，等 . 求解阻塞混合流水车间调度的双层变异迭代贪婪算法 [J/OL]. 控制与决策，[2021-11-03]. https://www.cnki.net/KCMS/detail/detail.aspx?dbcode=CA PJ&dbname=CAPJLAST&filename=KZYC20210701014&v=MTc 2NzNORE1xSTlFWk9vTFl3azd2QkFTNmpoNFRBemxxMkEwZ kxUN1I3cWRaZVpzRnkzbFZyN0JKVjQ9TGpmU2JiRzRI.
[9] 秦媛媛 . 基于 SVM 与强化学习的启发式算法 [J]. 长江工程职业技术学院学报，2021，38（2）：10-14.
[10] 李浩，刘志芳，严胜利 . 基于元启发式算法的凸轮从动机构优化设计研究 [J]. 机床与液压，2021，49（14）：105-109.
[11] ANGEL-BELLO F，VALLIKAVUNGAL J，Alvarez A. Fast and efficient algorithms to handle the dynamism in a single machine scheduling problem with sequence-dependent setup times [J/OL]. Computers & Industrial Engineering，2021，152：[2021-10-29].https:// doi.org/10.1016/j.cie.2020.106984.
[12] 尹静，杨阿慧 . 考虑交货期约束的塔式起重机服务调度启发式算法 [J]. 中国工程机械学报，2021，19（1）：1-6.
[13] PENG K K，PAN Q K，GAO L，et al. An Improved Artificial Bee Colony algorithm for real-world hybrid flowshop rescheduling in Steelmaking-refining-Continuous Casting process [J]. Computers & Industrial Engineering，2018，122：235-250.
[14] 兰宏凯，杨志，柳存根，等 . 船舶平面分段单流水线反应式模糊调度研究 [J]. 舰船科学技术，2019，41（15）：7-11.
[15] ROSSIT D A，TOHMÉ F，Frutos M. A data-driven scheduling approach to smart manufacturing [J].Journal of Industrial Information Integration，2019，15：69–79.
[16] 钱斌，佘明哲，胡蓉，等 . 超启发式交叉熵算法求解模糊分布式流水线绿色调度问题 [J]. 控制与决策，2021，36（6）： 1387-1396.
[17] 王建华，潘宇杰，孙瑞 . 考虑机床折旧的柔性作业车间绿色调度算法 [J]. 计算机应用，2020，40（1）：43-49.
[18] LIU C L，CHANG C C，TSENG C J. Actor-Critic Deep Reinforcement Learning for Solving Job Shop Scheduling Problems [J]. IEEE Access，2020，8：71752-71762.
[19] HU L，LIU Z Y，HU W F，et al. Petri-net-based dynamic scheduling of flexible manufacturing system via deep reinforcement learning with graph convolutional network [J].Journal of Manufacturing Systems.2020，55：1-14.
[20] HU H，JIA X L，HE Q X，et al. Deep reinforcement learning based AGVs real-time scheduling with mixed rule for flexible shop floor in industry 4.0 [J/OL].Computers & Industrial Engineering，2020, 149：[2021-10-29].106749.https://doi.org/10.1016/ j.cie.2020.106749.
[21] 马骋乾，谢伟，孙伟杰 . 强化学习研究综述 [J]. 指挥控制与仿真，2018，40（6）：68-72.
[22] 王维祺，叶春明，谭晓军 . 基于 Q 学习算法的作业车间动态调度 [J]. 计算机系统应用，2020，29（11）：218-226.
[23] YANG S L，XU Z G，WANG J Y. Intelligent DecisionMaking of Scheduling for Dynamic Permutation Flowshop via Deep Reinforcement Learning [J/OL].Sensors，2021，21（3）：[2021-10-29]. https://doi.org/10.3390/s21031019.
[24] CLAUDIO A，FABRIZIO M，ANDREA P. Number of bins and maximum lateness minimization in two-dimensional bin packing [J]. European Journal of Operational Research，2021，291（1）：101-113.
[25] SHIRVANI M H，TALOUKI REZA R. Bi-objective scheduling algorithm for scientific workflows on cloud computing platform with makespan and monetary cost minimization approach [J/OL].Complex & Intelligent Systems，[2021- 10-29].https://link.springer.com/article/10.1007/s40747-021-00528-1.
[26] PARK J，CHUN J，KIM S H，et al. Learning to schedule job-shop problems： representation and policy learning using graph neural network and reinforcement learning [J].International Journal of Production Research.2021，59（11）：3360-3377.
[27] LUO S. Dynamic scheduling for flexible job shop with new job insertions by deep reinforcement learning [J/OL].Applied Soft Computing，2020，91：[2021-10-29].https://doi.org/10.1016/ j.asoc.2020.106208.
[28] PARK I B，HUH J，KIM J，et al. A Reinforcement Learning Approach to Robust Scheduling of Semiconductor Manufacturing Facilities [J].IEEE Transactions on Automation Science and Engineering，2020，17（3）：1420-1431.
[29] GEORGIADIS G P，ELEKIDIS A P，GEORGIADIS M C. Optimal production planning and scheduling in breweries [J/OL].Food and Bioproducts Processing，2021，125：[2021-10-29].https://doi. org/10.1016/j.fbp.2020.11.008.
作者简介：陈晓航（1995—），男，汉族，广东揭阳人，硕士研究生在读，研究方向：物联网车间调度和深度强化学习。王美林 （1975-），男，汉族，湖南安化人，副教授，博士，研究方向： 物联网技术、制造执行系统及应用、面向新工科教育的智慧学习工 场技术；吴耿枫（1998 －），男，汉族，广东揭阳人，硕士研究生 在读，研究方向：物联网车间调度和深度强化学习；梁凯晴（1998－）， 女，汉族，广东江门人，硕士研究生在读，研究方向：物联网车间 调度和深度强化学习。