Integración modular de herramientas gestionadas por LLMs en el robot TIAGo++
DOI:
https://doi.org/10.17979/ja-cea.2025.46.12229Palabras clave:
Manipuladores robóticos, Inteligencia artificial, Interacción humano-robot, Robótica Asistencial, Modelos de lenguaje grandesResumen
Este artículo presenta una adaptación modular de un sistema basado en modelos de lenguaje grandes (LLMs) al robot TIAGo++, con el objetivo de reutilizar el mismo agente en distintas plataformas robóticas sin modificar su lógica de razonamiento. El sistema interpreta comandos del usuario y utiliza herramientas semánticas organizadas en cuatro categorías: consulta, diagnóstico, expresión y acción. Estas herramientas permiten obtener información del entorno, generar respuestas verbales y ejecutar tareas físicas, todo mediante una interfaz común que facilita su uso y portabilidad. En particular, las herramientas de acción han sido implementadas mediante un servidor de manipulación compatible con MoveIt, que permite ejecutar tareas como entregar objetos, colocarlos cerca de una persona, empujarlos o verter contenido entre recipientes. Cada herramienta proporciona un resultado estructurado que permite al modelo valorar el éxito de la acción y decidir cómo proceder. Esta arquitectura modular facilita la reutilización, la portabilidad y una interacción más eficaz, y además permite la incorporación de nuevas herramientas.
Referencias
Ahn, M., Brohan, A., Brown, N., Chebotar, Y., Cortes, O., David, B., Finn, C., Fu, C., Gopalakrishnan, K., Hausman, K., et al., 2022. Do as i can, not as i say: Grounding language in robotic affordances. arXiv preprint arXiv:2204.01691. DOI: 10.48550/arXiv.2204.01691
Hwang, Y., Sato, A. J., Praveena, P., White, N. T., Mutlu, B., 2024. Understanding generative ai in robot logic parametrization. arXiv preprint arXiv:2411.04273. DOI: 10.48550/arXiv.2411.04273
Menendez, E., Martínez, S., Balaguer, C., 2024a. Seleccion y agarre robótico de objetos basada en el seguimiento de la mirada. In: Actas del Simposio de Robotica, Bioingeniería y Visión por Computador: Badajoz, 29 a 31 de mayo de 2024. Servicio de Publicaciones, pp. 127–132.
Menendez, E., Martínez, S., Díaz-de María, F., Balaguer, C., 2024b. Integrating egocentric and robotic vision for object identification using siamese networks and superquadric estimations in partial occlusion scenarios. Biomimetics 9 (2), 100. DOI: 10.3390/biomimetics9020100
Miller, A. T., Allen, P. K., 2004. Graspit! a versatile simulator for robotic grasping. IEEE Robotics & Automation Magazine 11 (4), 110–122. DOI: 10.1109/MRA.2004.1371616
Mon-Williams, R., Li, G., Long, R., Du, W., Lucas, C. G., 2025. Embodied large language models enable robots to complete complex tasks in unpredictable environments. Nature Machine Intelligence, 1–10. DOI: 10.1038/s42256-025-01005-x
Morrison, D., Corke, P., Leitner, J., 2020. Learning robust, real-time, reactive robotic grasping. The International journal of robotics research 39 (2-3), 183–201. DOI: 10.1177/0278364919859066
Pages, J., Marchionni, L., Ferro, F., 2016. Tiago: the modular robot that adapts to different research needs. In: International workshop on robot modularity, IROS. Vol. 290.
Pekarek Rosin, T., Hassouna, V., Sun, X., Krohm, L., Kordt, H.-L., Beetz, M., Wermter, S., 2024. A framework for adapting human-robot interaction to diverse user groups. In: International Conference on Social Robotics. Springer, pp. 24–38. DOI: 10.1007/978-981-96-3525-2_3
Tanneberg, D., Ocker, F., Hasler, S., Deigmoeller, J., Belardinelli, A., Wang, C., Wersing, H., Sendhoff, B., Gienger, M., 2024. To help or not to help: Llm-based attentive support for human-robot group interactions. In: 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, pp. 9130–9137. DOI: 10.1109/IROS58592.2024.10801517
Vemprala, S., Bonatti, R., Bucker, A., Kapoor, A., 2023. Chatgpt for robotics: Design principles and model abilities. 2023. Published by Microsoft. DOI: 10.1109/ACCESS.2024.3387941
Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., Cao, Y., 2023. React: Synergizing reasoning and acting in language models. In: International Conference on Learning Representations (ICLR).
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2025 Elisabeth Menéndez, Juan Miguel García Haro, Santiago Martínez, Carlos Balaguer

Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.