Aprendizaje por refuerzo de tareas de recogida y colocación
DOI:
https://doi.org/10.17979/ja-cea.2025.46.12226Palabras clave:
Aprendizaje por refuerzo, Robótica inteligente, Robots manipuladores, Tecnología robóticaResumen
La recogida y colocación de objetos es una de las tareas más comunes y de mayor implementación en entornos robotizados. Cualquier tarea de manipulación robótica compleja lleva intrínseca la necesidad de agarrar un objeto desde una ubicación para llevar a cabo alguna acción específica con él y, una vez terminada, volverlo a dejar en la misma o en otra ubicación. En este trabajo, entrenamos un agente robótico con aprendizaje profundo por refuerzo para llevar a cabo tareas de recogida y colocación en las que nuestro agente aprende a agarrar objetos y a depositarlos en ubicaciones de distinta dificultad, tales como, el interior de una cesta, la inserción en un hueco o ranura y el apilamiento sobre otro objeto de pequeñas dimensiones. Hemos definido y ajustado políticas y las hemos evaluado en 50 experimentos con poses arbitrarias de agarre. Los resultados obtenidos muestran que nuestras políticas entrenadas realizan con éxito la tarea en el 98 %, 78% y 80 %, respectivamente según el tipo de ubicación.
Referencias
Billard, A., Kragic, D., 2019. Trends and challenges in robot manipulation. Science 364 (6446). DOI: 10.1126/science.aat8414
Calli, B., Singh, A., Bruce, J., Walsman, A., Konolige, K., Srinivasa, S., Abbeel, P., Dollar, A., 2017. Yale-cmu-berkeley dataset for robotic manipulation research. The Int. J. of Robotics Research 36 (3), 261–268. DOI: 10.1177/0278364917700714
Coumans, E., Bai, Y., 2016-2021. Pybullet, a python module for physics simulation for games, robotics and machine learning. URL: http://pybullet.org
Cui, J., Trinkle, J., 2021. Toward next-generation learned robot manipulation. Science Robotics 6 (54). DOI: 10.1126/scirobotics.abd9461
Fang, B., Jia, S., Guo, D., et al., 2019. Survey of imitation learning for robotic manipulation. Int. J. of Intelligent Robotics Application 3, 362–369. DOI: 10.1007/s41315-019-00103-5
Gomes, N., Martins, N., Lima, J., W¨ortche, H., 2021. Deep reinforcement learning applied to a robotic pick and place application. In: Pereira, A., Fernandes, F., Coelho, J., Pacheco, M., Alves, P., Lopes, R. (Eds.), Optimization, Learning Algorithms and Applications. Springer International Publishing, pp. 251–265. DOI: 10.1007/978-3-030-91885-918
Haarnoja, T., Zhou, A., Abbeel, P., Levine, S., 2018. Soft actor-critic: Offpolicy maximum entropy deep reinforcement learning with a stochastic actor. In: Dy, J. G., Krause, A. (Eds.), Proc. of the 35th Int. Conf. on Machine Learning (ICML). Vol. 80. PMLR, pp. 1856–1865.
Han, D., Mulyana, B., Stankovic, V., Cheng, S., 2023. A survey on deep reinforcement learning algorithms for robotic manipulation. Sensors 23 (7). DOI: 10.3390/s23073762
Kinova, 2024. Kinova. URL: https://www.kinovarobotics.com/product/gen3-robots
Kroemer, O., Niekum, S., Konidaris, G., 2021. A review of robot learning for manipulation: Challenges, representations, and algorithms. J. of Machine Learning Research 22 (30), 1–82. URL: http://jmlr.org/papers/v22/19-804.html
Lobbezoo, A., Qian, Y., Yanjun, K., Kwon, H.-J., 2021. Reinforcement learning for pick and place operations in robotics: A survey. Robotics 10 (3). DOI: 10.3390/robotics10030105
Raffin, A., Hill, A., Gleave, A., Kanervisto, A., Ernestus, M., Dormann, N., 2021. Stable-baselines3: Reliable reinforcement learning implementations. J. of Machine Learning Research 22 (268), 1–8. URL: http://jmlr.org/papers/v22/20-1364.html
Robotiq, 2024. Robotiq. URL: https://robotiq.com/
Si, W., Wang, N., Yang, C., 2021. A review on manipulation skill acquisition through teleoperation-based learning from demonstration. Cognitive Computation and Systems 3 (1), 1–16. DOI: https://doi.org/10.1049/ccs2.12005
Sutton, R. S., Barto, A., 2018. Reinforcement learning: An introduction. MIT Press, Cambridge, Massachusetts.
Towers, M., Kwiatkowski, A., Terry, J. K., Balis, J. U., Cola, G. D., Deleu, T., Goul˜ao, M., Kallinteris, A., Krimmel, M., KG, A., Perez-Vicente, R., Pierré, A., Schulhoff, S., Tai, J. J., Tan, H., Younis, O. G., 2024. Gymnasium: A standard interface for reinforcement learning environments. CoRR abs/2407.17032. DOI: 10.48550/ARXIV.2407.17032
van Otterlo, M., Wiering, M., 2012. Reinforcement learning and markov decision processes. In: Wiering, M., van Otterlo, M. (Eds.), Reinforcement Learning: State of the Art. Springer Berlin Heidelberg, pp. 3–42. DOI: 10.1007/978-3-642-27645-31
Zhu, Y., Joshi, A., Stone, P., Zhu, Y., 2023. Viola: Imitation learning for vision-based manipulation with object proposal priors. In: Liu, K., Kulic, D., Ichnowski, J. (Eds.), Proc. of The 6th Conference on Robot Learning (CoRL). Vol. 205. PMLR, pp. 1199–1210.
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2025 José María Hernández Hernández, Julio Castaño Amorós, Pablo Gil
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
