Path planning and obstacle avoidance for auv: a review

Ocean Engineering 235 (2021) 109355

17

C. Cheng et al.

Ralli, E., Hirzinger, G., 1997. Robot path planning using kohonen maps. In: Proceedings

of the 1997 IEEE/RSJ International Conference on Intelligent Robot and Systems.

Innovative Robotics for Real-World Applications. IROS ’97. Vol. 3, IEEE, pp.

1224–1229.

Ramos, P., Cruz, N., Matos, A., Neves, M.V., Pereira, F.L., 2001. Monitoring an ocean

outfall using an AUV. In: MTS/IEEE Oceans 2001. an Ocean Odyssey. Conference

Proceedings. Vol. 3, IEEE, pp. 2009–2014.

Riedmiller, M., Hafner, R., Lampe, T., Neunert, M., Degrave, J., Wiele, T., Mnih, V.,

Heess, N., Springenberg, J.T., 2018. Learning by playing solving sparse reward

tasks from scratch. In: Proceedings of International Conference on Machine Learning

(ICML). PMLR, pp. 4344–4353.

Rummery, G.A., Niranjan, M., 1994. On-Line Q-Learning using Connectionist Systems.

Vol. 37, University of Cambridge, Department of Engineering Cambridge, UK.

Sagala, F., Bambang, R.T., 2011. Development of sea glider autonomous underwater

vehicle platform for marine exploration and monitoring. Indian J. Geo Marine Sci.

40 (2), 287–295.

Saravanakumar, S., Asokan, T., 2013. Multipoint potential field method for path

planning of autonomous underwater vehicles in 3D space. Intell. Serv. Robotics

6 (4), 211–224.

Schulman, J., Wolski, F., Dhariwal, P., Radford, A., Klimov, O., 2017. Proximal policy

optimization algorithms. Mach. Learn. 1–12.

Sethian, J.A., 1999. Level Set Methods and Fast Marching Methods: Evolving Interfaces

in Computational Geometry, Fluid Mechanics, Computer Vision, and Materials

Science. Vol. 3, Cambridge university press.

Shen, J., Gu, G.C., Liu, H.B., 2006. Multi-agent hierarchical reinforcement learning

by integrating options into MAXQ. In: First International Multi-Symposiums on

Computer and Computational Sciences (IMSCCS’06). Vol. 1, IEEE, pp. 676–682.

Shojania, H., Li, B., 2007. Parallelized progressive network coding with hardware

acceleration. In: 2007 Fifteenth IEEE International Workshop on Quality of Service.

IEEE, pp. 47–55.

Simonyan, K., Zisserman, A., Two-stream convolutional networks for action recognition

in videos, in: Advances in Neural Information Processing Systems, 2014, pp.

568–576.

Singla, A., Padakandla, S., Bhatnagar, S., 2019. Memory-based deep reinforcement

learning for obstacle avoidance in UAV with limited environment knowledge. IEEE

Trans. Intell. Transp. Syst. 1–12.

Storn, R., Price, K., 1997. Differential evolution-a simple and efficient heuristic for

global optimization over continuous spaces. J. Global Optim. 11 (4), 341–359.

Sun, J., Feng, B., Xu, W.B., 2004. Particle swarm optimization with particles hav-

ing quantum behavior. In: Proceedings of the 2004 Congress on Evolutionary

Computation (IEEE Cat. No. 04TH8753). Vol. 1, IEEE, pp. 325–331.

Sun, Y.S., Ran, X.R., Zhang, G.C., Xu, H., Wang, X.B., 2020. AUV 3D Path planning

based on the improved hierarchical deep Q network. J. Mar. Sci. Eng. 8 (2), 145.

Sun, Y., Zhang, R.B., 2012. Research on global path planning for AUV based on GA.

In: Mechanical Engineering and Technology. Springer, pp. 311–318.

Sun, B., Zhu, D.Q., 2016. Three dimensional D* lite path planning for autonomous

underwater vehicle under partly unknown environment. In: 2016 12th World

Congress on Intelligent Control and Automation (WCICA). IEEE, pp. 3248–3252.

Sun, B., Zhu, D.Q., Tian, C., Luo, C.M., 2018a. Complete coverage autonomous

underwater vehicles path planning based on glasius bio-inspired neural network

algorithm for discrete and centralized programming. IEEE Trans. Cogn. Dev. Syst.

11 (1), 73–84.

Sun, B., Zhu, D.Q., Yang, S.X., 2016. A novel tracking controller for autonomous

underwater vehicles with thruster fault accommodation. J. Navig. 69 (3), 593–612.

Sun, B., Zhu, D.Q., Yang, S.X., 2018b. An optimized fuzzy control algorithm for

three-dimensional AUV path planning. Int. J. Fuzzy Syst. 20 (2), 597–610.

Sutton, R.S., Barto, A.G., 1998. Reinforcement Learning: An Introduction. Vol. 135, MIT

press Cambridge.

Szczerba, R.J., Galkowski, P., Glicktein, I.S., Ternullo, N., 2000. Robust algorithm for

real-time route planning. IEEE Trans. Aerosp. Electron. Syst. 36 (3), 869–878.

Taheri, E., Ferdowsi, M.H., Danesh, M., 2019. Closed-loop randomized kinodynamic

path planning for an autonomous underwater vehicle. Appl. Ocean Res. 83, 48–64.

Tan, C.S., Sutton, R., Chudley, J., 2004. An incremental stochastic motion planning

technique for autonomous underwater vehicles. IFAC Proc. Vol. 37 (10), 483–488.

Tan, C.S., Sutton, R., Chudley, J., 2005. Quasi-random, manoeuvre-based motion

planning algorithm for autonomous underwater vehicles. IFAC Proc. Vol. 38 (1),

103–108.

Tang, X.Y., Yu, F., Chen, R.J., 2010. Path planning of underwater vehicle based

on particle swarm optimization. In: 2010 International Conference on Intelligent

Control and Information Processing. IEEE, pp. 123–126.

Thrun, S., 2002. Probabilistic robotics. Commun. ACM 45 (3), 52–57.

Tobin, J., Fong, R., Ray, A., Schneider, J., Zaremba, W., Abbeel, P., 2017. Domain

randomization for transferring deep neural networks from simulation to the real

world. In: 2017 IEEE/RSJ International Conference on Intelligent Robots and

Systems (IROS). IEEE, pp. 23–30.

Tzeng, E., Devin, C., Hoffman, J., Finn, C., Peng, X., Levine, S., Saenko, K., Darrell, T.,

2015. Towards adapting deep visuomotor representations from simulated to real

environments, volume 2. ArXiv Preprint

ArXiv:1511.07111

.

Vibhute, S., 2018. Adaptive dynamic programming based motion control of autonomous

underwater vehicles. In: 2018 5th International Conference on Control, Decision

and Information Technologies (CoDIT). IEEE, pp. 966–971.

Villar, A.S., Solari, F.J., Rozenfeld, A.F., Acosta, G.G., 2016. Artificial potential fields

for the obstacles avoidance system of an AUV asing a mechanical scanning sonar.

In: 2016 3rd IEEE/OES South American International Symposium on Oceanic

Engineering (SAISOE). IEEE, pp. 1–6.

Wang, L., Liu, L.L., Qi, J.Y., Peng, W.P., 2020. Improved quantum particle swarm

optimization algorithm for offline path planning in AUVs. IEEE Access 8,

143397–143411.

Wang, L.X., Pang, S., 2019. Chemical plume tracing using an AUV based on POMDP

source mapping and A-star path planning. In: OCEANS 2019 MTS/IEEE SEATTLE.

IEEE, pp. 1–7.

Wang, H.J., Wang, L.L., Li, J., Pan, L.X., 2013. A vector polar histogram method based

obstacle avoidance planning for AUV. In: 2013 MTS/IEEE OCEANS-Bergen. IEEE,

pp. 1–5.

Wang, H.J., Wei, X., 2009. Research on global path planning based on ant colony

optimization for AUV. J. Mar. Sci. Appl. 8 (1), 58–64.

Wang, H.J., Zhou, H.X., Yao, H.F., 2016. Research on autonomous planning

method based on improved quantum particle swarm optimization for autonomous

underwater vehicle. In: OCEANS 2016 MTS/IEEE Monterey. IEEE, pp. 1–7.

Watkins, C.J., Dayan, P., 1992. Q-learning. Mach. Learn. 8 (3–4), 279–292.

Wiig, M.S., 2019. Collision avoidance and path following for underactuated marine

vehicles, NTNU.

Wu, L., Li, Y., Liu, J., Based on improved bio-inspired model for path planning by

Multi-AUV, in: Proceedings of the 2018 International Conference on Electronics

and Electrical Engineering Technology, 2018, pp. 128–134.

Wu, H., Song, S.J., Hsu, Y.C., You, K.Y., Wu, C., 2019. End-to-end sensorimotor

control problems of AUVs with deep reinforcement learning. In: 2019 IEEE/RSJ

International Conference on Intelligent Robots and Systems (IROS). IEEE, pp.

5869–5874.

Xiang, X., Zheng, J., Yu, C., Xu, G., 2014. Nonlinear path following control of

autonomous underwater vehicles: under-actuated and fully-actuated cases. In:

Proceedings of the 33rd Chinese Control Conference. IEEE, pp. 8006–8010.

Xu, H.L., Feng, X.S., 2009. An AUV fuzzy obstacle avoidance method under event

feedback supervision. In: OCEANS 2009. IEEE, pp. 1–6.

Yan, Z.P., Li, J.Y., Jiang, A.Z., Wang, L., 2018a. An obstacle avoidance algorithm for

AUV based on obstacle’s detected outline. In: 2018 37th Chinese Control Conference

(CCC). IEEE, pp. 5257–5262.

Yan, Z.P., Li, J.Y., Wu, Y., Yang, Z.W., 2018b. A novel path planning for AUV based

on objects’ motion parameters predication. IEEE Access 6, 69304–69320.

Yan, S.K., Pan, F., 2019. Research on route planning of AUV based on genetic

algorithms. In: IEEE International Conference on Unmanned Systems and Artificial

Intelligence (ICUSAI). IEEE, pp. 184–187.

Yan, C., Xiang, X.J., Wang, C., 2019. Towards real-time path planning through deep

reinforcement learning for a UAV in dynamic environments. J. Intell. Robot. Syst.

1–13.

Yan, Z.P., Zhao, Y.F., Chen, T., Deng, C., 2012a. 3D Path planning for AUV based on

circle searching. In: 2012 Oceans. IEEE, pp. 1–6.

Yan, Z.P., Zhao, Y.F., Han., Z.H., A method of UUV path planning with biased extension

in ocean flows, in: Intelligent Control and Automation, 2012b.

Yan, M.Z., Zhu, D.Q., 2011. An algorithm of complete coverage path planning for

autonomous underwater vehicles. In: Key Engineering Materials. Vol. 467, Trans

Tech Publ, pp. 1377–1385.

Yang, L., Li, K., Zhang, W., Wang, Y., Chen, Y., Zheng, L., 2015. Three-dimensional path

planning for underwater vehicles based on an improved ant colony optimization

algorithm. J. Eng. Sci. Technol. Rev. 8 (5), 24–33.

Yang, S.X., Meng, M.H., 2003. Real-time collision-free motion planning of a mobile

robot using a neural dynamics-based approach. IEEE Trans. Neural Netw. 14 (6),

1541–1552.

Yang, G., Zhang, R.B., 2009. Path planning of AUV in turbulent ocean environments

used adapted inertia-weight PSO. In: 2009 Fifth International Conference on Natural

Computation. Vol. 3, IEEE, pp. 299–302.

Yang, G., Zhang, R.B., Xu, D., Zhang, Z.Y., 2009. Local planning of AUV based on

Fuzzy-Q learning in strong sea flow field. In: 2009 International Joint Conference

on Computational Sciences and Optimization. Vol. 1, IEEE, pp. 994–998.

Yang, Y.Y., Zhu, D.Q., 2011. Research on dynamic path planning of AUV based on

forward looking sonar and fuzzy control. In: 2011 Chinese Control and Decision

Conference (CCDC). IEEE, pp. 2425–2430.

Yao, J.F., Lin, C., Xie, X.B., Wang, A.J., Hung, C.C., 2010. Path planning for virtual

human motion using improved A* algorithm. In: 2010 Seventh International

Conference on Information Technology: New Generations. IEEE, pp. 1154–1158.

Yao, P., Wang, H.L., Su, Z.K., 2015. UAV Feasible path planning based on disturbed

fluid and trajectory propagation. Chin. J. Aeronaut. 28 (4), 1163–1177.

Yao, X.L., Wang, F., Wang, J.F., Zhao, J.C., 2018. Time-optimal path planning to solve

motion direction restrict with lower computational cost. In: 2018 37th Chinese

Control Conference (CCC). IEEE, pp. 5245–5250.

Yao, P., Zhao, S.Q., 2018. Three-dimensional path planning for AUV based on

interfered fluid dynamical system under ocean current (june 2018). IEEE Access

6, 42904–42916.

Ye, C., Borenstein, J., 2002. Characterization of a 2D laser scanner for mobile

robot obstacle negotiation. In: Proceedings 2002 IEEE International Conference on

Robotics and Automation (Cat. No. 02CH37292). Vol. 3, IEEE, pp. 2512–2518.

---