摘 要：智能农业机器人如何实现准确移动仍是开发者们面临的一个挑战。传统的导航主要是通过全球定位系统（Global Position System, GPS）的定位来完成导航任务，弊端是其定位精度易受 GPS 信号强弱的影响。为此，文章提出采用深度强化学习算法SAC（Soft Actor-Critic）来解决果园场景下的导航问题，通过有序随机的课程学习训练方式引导智能体训练。实验结果表明，该方法能够在不使用 GPS 的情况下很好地完成果园场景下的定点导航任务。
关键词：果园；巡检机器人；深度强化学习；导航；课程学习
DOI:10.19850/j.cnki.2096-4706.2021.19.039
中图分类号：TP242 文献标识码：A 文章编号：2096-4706（2021）19-0154-04
Research on Navigation of Orchard Inspection Robot Based on Deep Reinforcement Learning
HU Gaoming
(School of Information Engineering, Dalian Ocean University, Dalian 116023, China)
Abstract: How to realize the accurate movement of intelligent agricultural robot is still a challenge for developers. The traditional navigation mainly completes the navigation task through the positioning of Global Positioning System. The disadvantage is that its positioning accuracy is easily affected by the strength of GPS signal. Therefore, this paper uses deep reinforcement learning algorithm SAC (Soft Actor-Critic) to solve the navigation problem in orchard scene, and guide agent training through orderly and random course learning and training. Experimental results show that this method can well complete the fixed-point navigation task in orchard scene without using GPS.
Keywords: orchard; inspection robot; deep reinforcement learning; navigation; course learning
参考文献：
[1] 谢斌，武仲斌，毛恩荣．农业拖拉机关键技术发展现状与展望 ［J］．农业机械学报，2018，49（8）：1-17．
[2] 姬长英，周俊．农业机械导航技术发展分析［J］．农业机械学报，2014，45（9）：44-54．
[3] 戴增辉，何凤琴．智能农机自动导航系统应用研究 ［J］ ．农机化研究，2018，40（2）：202-206．
[4] 夏友祥，刘刚，康熙，等．基于 GNSS 的农田平整定位精度优化与试验 [J］．农业机械学报，2017，48（S1）：40-44．
[5] 刘刚，康熙，夏友祥，等．基于 GNSS 农田平整全局路径规划方法与试验 [J］．农业机械学报，2018，49（5）：27-33．
[6] 张甜．高茬水田耕整路径机器视觉识别方法研究［D］．武汉： 华中农业大学，2014．
[7] MENG Q K，QIU R C，HE J，et al． Development of agricultural implement system based on machine vision and fuzzy control［J］．Computers and Electronics in Agriculture，2015， 112：128-138．
[8] 孟庆宽，何洁，仇瑞承，等．基于机器视觉的自然环境下作物行识别与导航线提取［J］．光学学报，2014，34（7）：180- 186．
[9] 汪博．基于机器视觉的农业导航系统［D］．杭州：浙江理工大学，2016．
[10] 郭翰林，洪瑛杰，张翔，等．再生稻收割机的视觉导航路径检测方法［J］．福建农林大学学报（自然科学版），2017，46（3）： 356-360．
[11] 梁习卉子，陈兵旗，姜秋慧，等 . 基于图像处理的玉米收割机导航路线检测方法 [J]. 农业工程学报，2016，32（22）：43-49.
[12] HAARNOJA T，ZHOU A，ABBEEL P，et al. Soft actorcritic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor [C]//International conference on machine learning. Stockholm：PMLR，2018：1861-1870.
[13] ZHU Y K，MOTTAGHI R，KOLVE E，et al. Target-driven visual navigation in indoor scenes using deep reinforcement learning [C]//2017 IEEE International Conference on Robotics and Automation (ICRA).Singapore：IEEE，2017：3357-3364.
[14] NG A Y，HARADA D，Russell S. Policy invariance under reward transformations: Theory and application to reward shaping [C]//In Machine learning, proceedings of the sixteenth international conference. Slovenia：ICML，1999：278-287.
[15] BENGIO Y，LOURADOUR J，Collobert R，et al. Curriculum learning [C]//Proceedings of the 26th annual international conference on machine learning. Montreal：Association for Computing Machinery，2009：41-48.
作者简介：户高铭（1996—），男，满族，河北唐山人，硕士研究生在读，研究方向：深度强化学习、路径规划。