Segmentación semántica basada en ResNet embarcada en vehículo robótico para búsqueda y rescate

Autores/as

DOI:

https://doi.org/10.17979/ja-cea.2026.47.13810

Palabras clave:

percepción y detección, tecnología robótica, robótica de campo, Robots móviles autónomos, Aprendizaje automático, sistemas robóticos autónomos

Resumen

La percepción visual en robótica de búsqueda y rescate debe interpretar escenas no estructuradas, con iluminación variable y, además, mantener la ejecución en tiempo real en hardware embarcado. En este trabajo se presenta la implantación de SARNet en el robot móvil terrestre ARGO J8, una red de segmentación semántica basada en mecanismos de atención y orientada a escenarios de catástrofe. Para ello, se adapta la red incluyendo el reentrenamiento con sobremuestreo para equilibrar las clases críticas poco representadas y la integración del modelo en ROS 2 en una NVIDIA Jetson AGX Orin. El sistema captura imágenes RGB de una cámara ZED 2i, genera máscaras semánticas multiclase, estima la distancia y la orientación de las personas detectadas y muestra la información en una interfaz visual de apoyo al operador a 16,4 FPS, aunque puede superar los 30 FPS cuando se elimina la limitación del sensor de entrada y el postprocesado. El código está disponible en el repositorio https://github.com/lucasjuradomartinez-cyber/TFGLucas_ws.

Biografía del autor/a

  • Anthony Mandow, Universidad de Málaga

    Antonio Mandow Andaluz (también firma como Anthony Mandow) es Licenciado en Informática (1992) y Doctor (1999) por la Universidad de Málaga (UMA).  Su actividad investigadora se ha desarrollado desde 1993 en el Departamento de Ingeniería de Sistemas y Automática de la UMA, donde es Profesor Titular de Universidad (2001). Su tesis doctoral se fundamentó mayormente en logros conseguidos para el proyecto AURORA, robot móvil autónomo para servicio en invernaderos que fue reconocido en la portada de IEEE Robotics and Automation Magazine. Desde entonces, sus esfuerzos de investigación se han dirigido principalmente a lograr la aplicación práctica de la robótica de campo y, especialmente, a los importantes retos plateados en escenarios de catástrofe y emergencias. Casi un centenar de publicaciones, incluyendo una treintena en revistas indexadas, recogen sus aportaciones en aspectos como el control de vehículos con remolques, el guiado mediante tracción por cadenas, la maniobrabilidad de manipuladores móviles para vencer superficies irregulares, el modelado del terreno natural, los sistemas de ayuda a la conducción o el desarrollo de sensores y técnicas de telemetría tridimensional. Asimismo, ha contribuido con técnicas de soft computing al control de sistemas de suspensión activa. Por otra parte, colabora activamente en actividades y asociaciones científico-técnicas de ámbito nacional e internacional: Es miembro del Comité Español de Automática (CEA), la Sociedad Española para la Investigación y Desarrollo en Robótica (SEIDROB) y el Institute of Electrical and Electronics Engineers (IEEE), forma parte de comités editoriales de revistas indexadas y congresos internacionales, incluyendo una editorial invitada (2011) en IEEE Transactions on Industrial Electronics. Desde 2021 es director del Instituto Universitario de Investigación en Mecatrónica y Sistemas Ciber-físicos de la UMA (IMECH.UMA). En su faceta docente, está comprometido con la formación de nuevos investigadores como coordinador de un Proyecto de Innovación Educativa (UMA, 2013-15) que persigue fomentar competencias en publicación de textos científicos y transferencia del conocimiento. Asimismo, desde 2016 es coordinador académico del Programa de Doctorado en Ingeniería Mecatrónica de la UMA. Para el futuro, su principal objetivo es contribuir al desarrollo de un sistema robótico fiable que pueda ser aceptado, utilizado y apreciado por equipos de primera intervención y rescate en situaciones reales de emergencia.

Referencias

Alonso, I., Riazuelo, L., Murillo, A.C., 2020. MiniNet: an efficient semantic segmentation ConvNet for real-time robotic applications. IEEE Transactions on Robotics 36, 1340 – 1347. doi:10.1109/TRO.2020.2974099.

Bravo-Arrabal, J., Vázquez-Martín, R., Fernández-Lozano, J.J., García-Cerezo, A., 2026. Strengthening multi-robot systems for search and rescue: Co-designing robotics and communications toward 6g. IEEE Communications Standards Magazine 10, 305–312. doi:10.1109/MCOMSTD.2026.3678471.

Buda, M., Maki, A., Mazurowski, M.A., 2018. A systematic study of the class imbalance problem in convolutional neural networks. Neural Networks 106, 249–259. doi:10.1016/j.neunet.2018.07.011.

Casper, J., Murphy, R.R., 2003. Human-robot interactions during the robot-assisted urban search and rescue response at the world trade center. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics 33, 367–385. doi:10.1109/TSMCB.2003.811794.

De Nóbrega-Buyón, K., Fernández-Lozano, J.J., Vázquez-Martín, R., 2025. Modelado y simulación de un robot móvil en entornos naturales mediante ROS2 y Unity3D. Jornadas de Automática 46. doi:10.17979/ja-cea.2025.46.12187.

Guo, X., Liu, T., Li, Y., Lin, Z., Deng, Z., 2025. TUNI: Real-time rgb-t semantic segmentation with unified multi-modal feature extraction and cross-modal feature fusion. arXiv preprint arXiv:2509.10005 doi:10.48550/arXiv.2509.10005.

Hartley, R., Zisserman, A., 2004. Multiple View Geometry in Computer Vision. 2 ed., Cambridge University Press.

He, K., Zhang, X., Ren, S., Sun, J., 2016. Deep residual learning for image recognition, in: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770–778. doi:10.1109/CVPR.2016.90.

Morales, J., Vázquez-Martín, R., Mandow, A., Morilla-Cabello, D., García-Cerezo, A., 2021. The UMA-SAR Dataset: Multimodal data collection from a ground vehicle during outdoor disaster response training exercises. The International Journal of Robotics Research 40, 835–847. doi:10.1177/02783649211004959.

Murphy, R.R., 2014. Disaster Robotics. The MIT Press. doi:10.7551/mitpress/9407.001.0001.

Orbea, D., Ulloa, C.C., Cerro, J.d., Barrientos, A., 2024. Mobile victim signs monitoring through non-invasive robotic system. Lecture Notes in Networks and Systems 1114 LNNS, 141 – 153. doi:10.1007/978-3-031-70722-3_15.

Ramon-Soria, P., Gomez-Tamm, A., Garcia-Rubiales, F., Arrue, B., Ollero, A., 2019. Autonomous landing on pipes using soft gripper for inspection and maintenance in outdoor environments, in: IEEE International Conference on Intelligent Robots and Systems, pp. 5832 – 5839. doi:10.1109/IROS40897.2019.8967850.

Ronneberger, O., Fischer, P., Brox, T., 2015. U-net: Convolutional networks for biomedical image segmentation, in: Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015, Springer. pp. 234–241. doi:10.1007/978-3-319-24574-4_28.

Salas-Espinales, A., Vázquez-Martín, R., García-Cerezo, A., Mandow, A., 2023. SAR Nets: An Evaluation of Semantic Segmentation Networks with Attention Mechanisms for Search and Rescue Scenes, in: IEEE International Symposium on Safety, Security, and Rescue Robotics, IEEE. pp. 139–144. doi:10.1109/SSRR56537.2023.10400741.

Descargas

Publicado

01-09-2026

Número

Núm. 47 (2026)

Sección

Robótica

Licencia

Derechos de autor 2026 Lucas Jurado-Martínez, Ricardo Vázquez Martín, Anthony Mandow

Creative Commons License

Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.