Path planning and obstacle avoidance for auv: a review

Ocean Engineering 235 (2021) 109355

16

C. Cheng et al.

Haupt, R.L., Werner, D.H., 2007. Genetic Algorithms in Electromagnetics. John Wiley

and Sons.

Havenstrøm, S.T., Rasheed, A., San, O., 2021. Deep reinforcement learning controller

for 3D path following and collision avoidance by autonomous underwater vehicles.

Front. Robotics and AI 7, 211.

He, B., Zhou, X., 2010. Path planning and tracking for AUV in large-scale environment.

In: 2010 2nd International Asia Conference on Informatics in Control, Automation

and Robotics (CAR 2010). Vol. 1, IEEE, pp. 318–321.

Heess, N., Wayne, G., Silver, D., Lillicrap, T., Tassa, Y., Erez, T., 2015. Learning

continuous control policies by stochastic value gradients. ArXiv Preprint

ArXiv:

1510.09142

.

Hernández, E., Carreras, M., Antich, J., Ridao, P., Ortiz, A., 2011. A topologically guided

path planner for an AUV using homotopy classes. In: 2011 IEEE International

Conference on Robotics and Automation. IEEE, pp. 2337–2343.

Hernández, J.D., Vallicrosa, G., Vidal, E., Pairet, È., Carreras, M., Ridao, P., 2015. On-

line 3D path planning for close-proximity surveying with AUVs. IFAC-PapersOnLine

48 (2), 50–55.

Hochreiter, S., Schmidhuber, J., 1997. Long short-term memory. Neural Comput. 9 (8),

1735–1780.

Hodgkin, A.L., Huxley, A.F., 1952. A quantitative description of membrane current and

its application to conduction and excitation in nerve. J. Physiol. 117 (4), 25–71.

Hou, H.S., Andrews, H.C., 1978. Cubic splines for image interpolation and digital

filtering. IEEE Trans. Acoust. Speech Signal Process. 26 (6), 508–517.

Hou, X.Y., Du, J., Wang, J.J., Ren, Y., AUV path planning with kinematic constraints in

unknown environment using reinforcement learning, in: Proceedings of the 2020

4th International Conference on Digital Signal Processing, 2020, pp. 274–278.

Hu, C.L., Zhang, F., 2019. Research on AUV global path planning based on

multi-objective ant colony strategy. In: Chinese Automation Congress. IEEE, pp.

5512–5517.

Huang, C.X., Pan, W., Chen, J., Wu, H.T., Wu, D.X., Xu, S.X., 2014. Simulation research

on obstacle avoidance of autonomous underwater vehicle based on single beam

ranging sonar. J. Xiamen Univ. (Nat. Sci.).

Jaillet,

L.,

Cortés,

J.,

Siméon,

T.,

2010.

Sampling-based

path

planning

on

configuration-space costmaps. IEEE Trans. Robot. 26 (4), 635–646.

Jiu, H.F., Chen, Y., Deng, W., Pang, S., 2019. Underwater chemical plume tracing based

on partially observable Markov decision process. Int. J. Adv. Robot. Syst. 16 (2),

1–12.

Karaman, S., Frazzoli, E., 2011. Sampling-based algorithms for optimal motion

planning. Int. J. Robot. Res. 30 (7), 846–894.

Kawano, H., Ura, T., 2002a. Fast reinforcement learning algorithm for motion planning

of nonholonomic autonomous underwater vehicle in disturbance. In: IEEE/RSJ

International Conference on Intelligent Robots and Systems. Vol. 1, IEEE, pp.

903–908.

Kawano, H., Ura, T., 2002b. Motion planning algorithm for nonholonomic autonomous

underwater vehicle in disturbance using reinforcement learning and teaching

method. In: Proceedings 2002 IEEE International Conference on Robotics and

Automation (Cat. No.02CH37292). 4, IEEE, pp. 4032–4038.

Khalaji, A.K., Tourajizadeh, H., 2020. Nonlinear lyapounov based control of an

underwater vehicle in presence of uncertainties and obstacles. Ocean Eng. 198.

Khanmohammadi, S., Alizadeh, G., Poormahmood, M., 2007. Design of a fuzzy

controller for underwater vehicles to avoid moving obstacles. In: 2007 IEEE

International Fuzzy Systems Conference. IEEE, pp. 1–6.

Khatib, O., 1986. Real-time obstacle avoidance for manipulators and mobile robots.

In: Proceedings. 1985 IEEE International Conference on Robotics and Automation.

Springer, pp. 396–404.

Kimball, P., Rock, S., 2008. Sonar-based iceberg-relative AUV navigation. In: 2008

IEEE/OES Autonomous Underwater Vehicles. IEEE, pp. 1–6.

Kober, J., Peters, J., 2014. Reinforcement learning in robotics: a survey. Int. J. Robot.

Res. 32 (11), 1238–1274.

Koenig, S., Likhachev, M., 2005. Fast replanning for navigation in unknown terrain.

IEEE Trans. Robot. 21 (3), 354–363.

Kwan, C., Lewis, F.L., 2000. Robust backstepping control of nonlinear systems using

neural networks. IEEE Trans. Syst. Man Cybern.-Part A: Systems and Humans 30

(6), 753–766.

Larranaga, P., Lozano, J.A., 2001. Estimation of distribution algorithms. Genet.

Algorithms and Evol. Comput. 64 (5), 454–468.

Lefeber, E., Pettersen, K.Y., Nijmeijer, H., 2003. Tracking control of an underactuated

ship. IEEE Trans. Control Syst. Technol. 11 (1), 52–61.

Li, Q.Y., 2019. 3D Cubic Bezier Curves for multi-target path planning for autonomous

underwater vehicles. In: OCEANS 2019-Marseille. IEEE, pp. 1–5.

Li, G., Gomez, R., Nakamura, K., He, B., 2019a. Human-centered reinforcement

learning: a survey. IEEE Trans. Hum.-Mach. Syst. 49 (4), 337–349.

Li, S., Guo, Y., 2012. Neural-network based AUV path planning in estuary environments.

In: Proceedings of the 10th World Congress on Intelligent Control and Automation.

IEEE, pp. 3724–3730.

Li, Z.Y., Liu, W.D., Gao, L.E., Li, L., Zhang, F.H., 2019c. Path planning method for

AUV docking based on adaptive quantum-behaved particle swarm optimization.

IEEE Access 7, 78665–78674.

Li, J., Pan, Q.S., Hong, B.R., 2010. A new multi-agent reinforcement learning approach.

In: The 2010 IEEE International Conference on Information and Automation. IEEE,

pp. 1667–1671.

Li, Q., Shi, X.H., Kang, Z.Q., 2013. The application of an improved genetic algorithm

in the AUV global path planning. In: Applied Mechanics and Materials. Vol. 246,

Trans Tech Publ, pp. 1165–1169.

Li, D.L., Wang, P., Du, L., 2018. Path planning technologies for autonomous underwater

vehicles-A review. IEEE Access 7, 9745–9768.

Li, X.J., Wang, W., Song, J.Y., Liu, D., 2019b. Path planning for autonomous underwater

vehicle in presence of moving obstacle based on three inputs fuzzy logic. In:

2019 4th Asia-Pacific Conference on Intelligent Robot Systems (ACIRS). IEEE, pp.

265–268.

Li, J.J., Zhang, R.B., 2017. Multi-AUV distributed task allocation based on the

differential evolution quantum bee colony optimization algorithm. Pol. Marit. Res.

24 (s3), 65–71.

Li, M.C., Zhang, H.J., AUV 3D path planning based on A* algorithm, in: 2020 Chinese

Automation Congress (CAC), 2020.

Li, Y., Zhang, F.B., Xu, D.M., Dai, J.G., 2017. Liveness-based RRT algorithm for

autonomous underwater vehicles motion planning. J. Adv. Transp. 2017, 1–10.

Li, J.J., Zhang, R.B., Yang, Y., 2014a. Research on route obstacle avoidance task

planning based on differential evolution algorithm for AUV. In: International

Conference in Swarm Intelligence. Springer, pp. 106–113.

Li, X., Zhu, D.Q., Qian, Y., 2014b. A survey on formation control algorithms for

Multi-AUV system. Unmanned Syst. 2 (4), 351–359.

Lim, H.S., Chin, C.K., Chai, S., Bose, N., 2020a. Online AUV path replanning using

quantum-behaved particle swarm optimization with selective differential evolution.

CMES Comput. Model. Eng. Sci. 1–18.

Lim, H.S., Fan, S.S., Chin, C.K.H., Chai, S.H., Bose, N., 2020b. Particle swarm

optimization algorithms with selective differential evolution for AUV path planning.

IAES Int. J. Robotics Autom. 9 (2), 94–112.

Lin, C., Bi, Y., Zhao, H., Liu, Z., Jia, S., Zhu, J., 2018. DTE-Sdn: A dynamic traffic

engineering engine for delay-sensitive transfer. IEEE Internet Things J. 5 (6),

5240–5253.

Lin, C., Han, G.J., Du, J.X., Bi, Y.G., Shu, L., Fan, K.G., 2020. A path planning scheme

for AUV flock-based internet of underwater things systems to enable transparent

and smart ocean. IEEE Internet Things J. 9760–9772.

Liu, R.D., Chen, Z.G., Wang, Z.J., Zhan, Z.H., 2019. Intelligent path planning for AUVs

in dynamic environments: An EDA-based learning fixed height histogram approach.

IEEE Access 7, 185433–185446.

Liu, Y., Wang, F., Lv, Z., Cao, K., Lin, Y., 2018. Pixel-to-action policy for underwater

pipeline following via deep reinforcement learning. In: 2018 IEEE International

Conference of Intelligent Robotic and Control Engineering. IEEE, pp. 135–139.

Ma, Y.N., Gong, Y.J., Xiao, C.F., Gao, Y., Zhang, J., 2018. Path planning for autonomous

underwater vehicles: An ant colony algorithm incorporating alarm pheromone. IEEE

Trans. Veh. Technol. 68 (1), 141–154.

Ma, Y., Mao, Z.Y., Wang, T., Qin, J., Ding, W.J., Meng, X.Y., 2020. Obstacle avoidance

path planning of unmanned submarine vehicle in ocean current environment based

on improved firework-ant colony algorithm. Comput. Electr. Eng. 87, 106773.

Mac, T.T., Copot, C., Tran, D.T., De Keyser, R., 2016. Heuristic approaches in robot

path planning: A survey. Robot. Auton. Syst. 86, 13–28.

Mahmoud, S., Powers, D.W., Yazdani, A.M., Sammut, K., Atyabi, A., 2018. Efficient AUV

path planning in time-variant underwater environment using differential evolution

algorithm. J. Mar. Sci. Appl. 17 (4), 585–591.

Mehto, A., Tapaswi, S., Pattanaik, K., 2020. A review on rendezvous based data

acquisition methods in wireless sensor networks with mobile sink. Wirel. Netw.

26 (4), 2639–2663.

Mirjalili, S., Mirjalili, S.M., Lewis, A., 2014. Grey wolf optimizer. Adv. Eng. Softw. 69,

46–61.

Mnih, V., Badia, A.P., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver, D.,

Kavukcuoglu, K., Asynchronous methods for deep reinforcement learning, in:

International Conference on Machine Learning, 2016, pp. 1928–1937.

Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A.A., Veness, J., Bellemare, M.G.,

Graves, A., Riedmiller, M., Fidjeland, A.K., Ostrovski, G., 2015. Human-level control

through deep reinforcement learning. Nature 518 (7540), 529–533.

Ni, J.J., Wu, L.Y., Shi, P.F., Yang, S.X., 2017. A dynamic bioinspired neural net-

work based real-time path planning method for autonomous underwater vehicles.

Comput. Intell. Neurosci. 2017.

Noguchi, Y., Maki, T., 2019. Path planning method based on artificial potential field

and reinforcement learning for intervention AUVs. In: 2019 IEEE Underwater

Technology (UT). IEEE, pp. 1–6.

Nussbaum, F., Stevens, G.T., Kelly, J.G., 1996. Sensors for a forward-looking high

resolution AUV sonar. In: Proceedings of Symposium on Autonomous Underwater

Vehicle Technology. IEEE, pp. 141–145.

Okereke, C., Mohamad, M.M., Wahab, N., A review of machine learning path planning

algorithms for Autonomous Underwater Vehicles (AUV) in Internet of Underwater

Things (IoUT), in: The 12th International Conference on Internet (ICONI 2020),

2020.

Pagac, D., Nebot, E.M., Durrant Whyte, H., 1998. An evidential approach to

map-building for autonomous vehicles. IEEE Trans. Robot. Autom. 14 (4), 623–629.

Patle, B.K., Pandey, A., Parhi, D.R.K., Jagadeesh, A., 2019. A review: On path planning

strategies for navigation of mobile robot. Def. Technol. 15 (4), 582–606.

Phanthong, T., 2015. Real time underwater obstacle avoidance and path re-planning

using simulated multi-beam forward looking sonar images for autonomous surface

vehicle. Eng. J. 19 (1), 107–123.

---