摘 要：对海下管线的检测是保证其正常运行的必要环节。文章针对海下管道巡检问题，提出一种结合状态表示学习和深度强化学习的方法，使水下机器人能够基于图像进行管线跟踪。利用无监督表征学习方法提取海底管线图像特征，结合任务情况设计了动作、状态空间和奖励函数，通过 SAC 算法学习一个稳健的跟踪控制策略。最后搭建仿真环境进行试验，证明了所提出方法的有效性和泛化性。
关键词：AUV；海底管线跟踪；状态表示学习；深度强化学习
DOI:10.19850/j.cnki.2096-4706.2021.20.004
基金项目：辽宁省教育厅基本科研项目（LJKZ0730，QL202016）；辽宁省自然科学基金项目（20180550674，2020-KF-12-09）；辽宁省重点研发计划项目（2020JH2/10100043）
中图分类号：TP242 文献标识码：A 文章编号：2096-4706（2021）20-0016-05
Vision-based AUV Autonomous Underwater Pipeline Tracking Method
WANG Hao, YAN Chenghao, REN Junli, SHAO Siyang
(School of Information Engineering, Dalian Ocean University, Dalian 116023, China)
Abstract: The detection of subsea pipelines is a necessary link to ensure its normal operation. For the subsea pipeline inspection problem, this paper proposes a method combining state representation learning and deep reinforcement learning, so that the underwater robot can track the pipeline based on image. The unsupervised representation learning method is used to extract the image features of submarine pipelines. Combined with the task situation, the action, state space and reward function are designed. A robust tracking control strategy is learned through SAC algorithm. Finally, a simulation environment is built to test the effectiveness and generalization of the proposed method.
Keywords: AUV; subsea pipeline tracking; state representation learning; deep reinforcement learning
参考文献：
[1] 黄潘阳，来向华，胡涛骏，等 . 海底电缆管道廊道规划初步构想 [J]. 海洋开发与管理，2020，37（3）：8-11.
[2] ZHAO X H，WANG X，Du Z S. Research on Detection Method for the Leakage of Underwater Pipeline by YOLOv3 [C]//2020 IEEE International Conference on Mechatronics and Automation （ICMA）.Beijing：IEEE，2020：637-642.
[3] 董绍华，段宇航，孙伟栋，等 . 中国海底管道完整性评价技术发展现状及展望 [J]. 油气储运，2020，39（12）：1331-1336.
[4] 王文龙，熊指南 . 声学探测技术在海底石油管线铺设后调查中的应用 [J]. 海洋科学，2021，45（7）：110-120.
[5] 丁安 . 声纳图像水下管线检测与跟踪技术研究 [D]. 镇江：江苏科技大学，2019.
[6] 陈浩 . 水下巡线机器人管线识别与运动控制算法研究 [D].青岛：中国石油大学（华东），2018.
[7] 韩银锋 . 基于机器视觉的 ROV 水下管线自动跟踪方法 [J].计算机测量与控制，2015，23（2）：539-541.
[8] 黄子明，贺继林 . 面向水下管网的视觉检测系统研究 [J].电子测量与仪器学报，2021，35（6）：79-87.
[9] 黄明泉 . 水下机器人 ROV 在海底管线检测中的应用 [J].海洋地质前沿，2012，28（2）：52-57.
[10] 闫皎洁，张锲石，胡希平 . 基于强化学习的路径规划技术综述 [J]. 计算机工程，2021，47（10）：16-25.
[11] 李茹杨，彭慧民，李仁刚，等 . 强化学习算法与应用综述 [J]. 计算机系统应用，2020，29（12）：13-25.
[12] 孙玉山，王力锋，吴菁，等 . 智能水下机器人路径规划方法综述 [J]. 舰船科学技术，2020，42（7）：1-7.
[13] GUPTA A，KHWAJA A S，ANPALAGAN A，et al. PolicyGradient and Actor-Critic Based State Representation Learning for Safe Driving of Autonomous Vehicles [J].Sensors，2020，20（21）：5991.
[14] HAARNOJA T，ZHOU A，ABBEEL P，et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor [C]//International conference on machine learning. Stockholm：PMLR，2018：1861-1870.
[15] MANHÃES M M M，SCHERER S A，VOSS M，et al. UUV simulator: A gazebo-based package for underwater intervention and multi-robot simulation [C]//OCEANS 2016 MTS/IEEE Monterey.Monterey：IEEE，2016：1-8.
作者简介：王昊（1996—），男，汉族，安徽桐城人，硕士研究生在读，研究方向：水下机器人、强化学习；颜承昊（1998—），男，汉族，辽宁大连人，硕士研究生在读，研究方向：水下机器人、强化学习。任俊丽（1996—），女，汉族，河南商丘人，硕士研究生在读，研究方向：计算机视觉；邵思扬（1997-），女，汉族，辽宁本溪人，硕士研究生在读，研究方向：水下机器人、强化学习。