Embedded ResNet-Based Semantic Segmentation in a robotic vehicle for Search and Rescue

Authors

DOI:

https://doi.org/10.17979/ja-cea.2026.47.13810

Keywords:

perception and sensing, Robotics technology, field robotics, Autonomous Mobile Robots, Machine learning, Autonomous robotic systems

Abstract

Visual perception in search-and-rescue robotics must interpret unstructured scenes under varying lighting conditions while maintaining real-time performance on embedded hardware. This work presents the deployment of SARNet, a semantic segmentation network designed for disaster-response scenarios, on an ARGO J8 unmanned ground vehicle using an attention-based architecture. To achieve this, the network was adapted through retraining with oversampling techniques to balance underrepresented critical classes, and the model was integrated into a ROS 2 framework running on an NVIDIA Jetson AGX Orin. The system acquires RGB images from a ZED 2i camera, generates multi-class semantic masks, estimates the distance and orientation of detected individuals, and displays the information through a visual interface to assist the operator. The complete pipeline operates at 16.4 FPS, although it can exceed 30 FPS when the limitations imposed by the input sensor and post-processing stages are removed. The source code is available at: https://github.com/lucasjuradomartinez-cyber/TFGLucas_ws

Author Biography

  • Anthony Mandow, Universidad de Málaga

    Antonio Mandow Andaluz (también firma como Anthony Mandow) es Licenciado en Informática (1992) y Doctor (1999) por la Universidad de Málaga (UMA).  Su actividad investigadora se ha desarrollado desde 1993 en el Departamento de Ingeniería de Sistemas y Automática de la UMA, donde es Profesor Titular de Universidad (2001). Su tesis doctoral se fundamentó mayormente en logros conseguidos para el proyecto AURORA, robot móvil autónomo para servicio en invernaderos que fue reconocido en la portada de IEEE Robotics and Automation Magazine. Desde entonces, sus esfuerzos de investigación se han dirigido principalmente a lograr la aplicación práctica de la robótica de campo y, especialmente, a los importantes retos plateados en escenarios de catástrofe y emergencias. Casi un centenar de publicaciones, incluyendo una treintena en revistas indexadas, recogen sus aportaciones en aspectos como el control de vehículos con remolques, el guiado mediante tracción por cadenas, la maniobrabilidad de manipuladores móviles para vencer superficies irregulares, el modelado del terreno natural, los sistemas de ayuda a la conducción o el desarrollo de sensores y técnicas de telemetría tridimensional. Asimismo, ha contribuido con técnicas de soft computing al control de sistemas de suspensión activa. Por otra parte, colabora activamente en actividades y asociaciones científico-técnicas de ámbito nacional e internacional: Es miembro del Comité Español de Automática (CEA), la Sociedad Española para la Investigación y Desarrollo en Robótica (SEIDROB) y el Institute of Electrical and Electronics Engineers (IEEE), forma parte de comités editoriales de revistas indexadas y congresos internacionales, incluyendo una editorial invitada (2011) en IEEE Transactions on Industrial Electronics. Desde 2021 es director del Instituto Universitario de Investigación en Mecatrónica y Sistemas Ciber-físicos de la UMA (IMECH.UMA). En su faceta docente, está comprometido con la formación de nuevos investigadores como coordinador de un Proyecto de Innovación Educativa (UMA, 2013-15) que persigue fomentar competencias en publicación de textos científicos y transferencia del conocimiento. Asimismo, desde 2016 es coordinador académico del Programa de Doctorado en Ingeniería Mecatrónica de la UMA. Para el futuro, su principal objetivo es contribuir al desarrollo de un sistema robótico fiable que pueda ser aceptado, utilizado y apreciado por equipos de primera intervención y rescate en situaciones reales de emergencia.

References

Alonso, I., Riazuelo, L., Murillo, A.C., 2020. MiniNet: an efficient semantic segmentation ConvNet for real-time robotic applications. IEEE Transactions on Robotics 36, 1340 – 1347. doi:10.1109/TRO.2020.2974099.

Bravo-Arrabal, J., Vázquez-Martín, R., Fernández-Lozano, J.J., García-Cerezo, A., 2026. Strengthening multi-robot systems for search and rescue: Co-designing robotics and communications toward 6g. IEEE Communications Standards Magazine 10, 305–312. doi:10.1109/MCOMSTD.2026.3678471.

Buda, M., Maki, A., Mazurowski, M.A., 2018. A systematic study of the class imbalance problem in convolutional neural networks. Neural Networks 106, 249–259. doi:10.1016/j.neunet.2018.07.011.

Casper, J., Murphy, R.R., 2003. Human-robot interactions during the robot-assisted urban search and rescue response at the world trade center. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics 33, 367–385. doi:10.1109/TSMCB.2003.811794.

De Nóbrega-Buyón, K., Fernández-Lozano, J.J., Vázquez-Martín, R., 2025. Modelado y simulación de un robot móvil en entornos naturales mediante ROS2 y Unity3D. Jornadas de Automática 46. doi:10.17979/ja-cea.2025.46.12187.

Guo, X., Liu, T., Li, Y., Lin, Z., Deng, Z., 2025. TUNI: Real-time rgb-t semantic segmentation with unified multi-modal feature extraction and cross-modal feature fusion. arXiv preprint arXiv:2509.10005 doi:10.48550/arXiv.2509.10005.

Hartley, R., Zisserman, A., 2004. Multiple View Geometry in Computer Vision. 2 ed., Cambridge University Press.

He, K., Zhang, X., Ren, S., Sun, J., 2016. Deep residual learning for image recognition, in: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770–778. doi:10.1109/CVPR.2016.90.

Morales, J., Vázquez-Martín, R., Mandow, A., Morilla-Cabello, D., García-Cerezo, A., 2021. The UMA-SAR Dataset: Multimodal data collection from a ground vehicle during outdoor disaster response training exercises. The International Journal of Robotics Research 40, 835–847. doi:10.1177/02783649211004959.

Murphy, R.R., 2014. Disaster Robotics. The MIT Press. doi:10.7551/mitpress/9407.001.0001.

Orbea, D., Ulloa, C.C., Cerro, J.d., Barrientos, A., 2024. Mobile victim signs monitoring through non-invasive robotic system. Lecture Notes in Networks and Systems 1114 LNNS, 141 – 153. doi:10.1007/978-3-031-70722-3_15.

Ramon-Soria, P., Gomez-Tamm, A., Garcia-Rubiales, F., Arrue, B., Ollero, A., 2019. Autonomous landing on pipes using soft gripper for inspection and maintenance in outdoor environments, in: IEEE International Conference on Intelligent Robots and Systems, pp. 5832 – 5839. doi:10.1109/IROS40897.2019.8967850.

Ronneberger, O., Fischer, P., Brox, T., 2015. U-net: Convolutional networks for biomedical image segmentation, in: Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015, Springer. pp. 234–241. doi:10.1007/978-3-319-24574-4_28.

Salas-Espinales, A., Vázquez-Martín, R., García-Cerezo, A., Mandow, A., 2023. SAR Nets: An Evaluation of Semantic Segmentation Networks with Attention Mechanisms for Search and Rescue Scenes, in: IEEE International Symposium on Safety, Security, and Rescue Robotics, IEEE. pp. 139–144. doi:10.1109/SSRR56537.2023.10400741.

Downloads

Published

2026-09-01

Issue

No. 47 (2026)

Section

Robótica

License

Copyright (c) 2026 Lucas Jurado-Martínez, Ricardo Vázquez Martín, Anthony Mandow

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.