Integración modular de herramientas gestionadas por LLMs en el robot TIAGo++

Autores/as

  • Elisabeth Menéndez Universidad Carlos III de Madrid
  • Juan Miguel García Haro Universidad Carlos III de Madrid
  • Santiago Martínez Universidad Carlos III de Madrid
  • Carlos Balaguer Universidad Carlos III de Madrid

DOI:

https://doi.org/10.17979/ja-cea.2025.46.12229

Palabras clave:

Manipuladores robóticos, Inteligencia artificial, Interacción humano-robot, Robótica Asistencial, Modelos de lenguaje grandes

Resumen

Este artículo presenta una adaptación modular de un sistema basado en modelos de lenguaje grandes (LLMs) al robot TIAGo++, con el objetivo de reutilizar el mismo agente en distintas plataformas robóticas sin modificar su lógica de razonamiento. El sistema interpreta comandos del usuario y utiliza herramientas semánticas organizadas en cuatro categorías: consulta, diagnóstico, expresión y acción. Estas herramientas permiten obtener información del entorno, generar respuestas verbales y ejecutar tareas físicas, todo mediante una interfaz común que facilita su uso y portabilidad. En particular, las herramientas de acción han sido implementadas mediante un servidor de manipulación compatible con MoveIt, que permite ejecutar tareas como entregar objetos, colocarlos cerca de una persona, empujarlos o verter contenido entre recipientes. Cada herramienta proporciona un resultado estructurado que permite al modelo valorar el éxito de la acción y decidir cómo proceder. Esta arquitectura modular facilita la reutilización, la portabilidad y una interacción más eficaz, y además permite la incorporación de nuevas herramientas.

Referencias

Ahn, M., Brohan, A., Brown, N., Chebotar, Y., Cortes, O., David, B., Finn, C., Fu, C., Gopalakrishnan, K., Hausman, K., et al., 2022. Do as i can, not as i say: Grounding language in robotic affordances. arXiv preprint arXiv:2204.01691. DOI: 10.48550/arXiv.2204.01691

Hwang, Y., Sato, A. J., Praveena, P., White, N. T., Mutlu, B., 2024. Understanding generative ai in robot logic parametrization. arXiv preprint arXiv:2411.04273. DOI: 10.48550/arXiv.2411.04273

Menendez, E., Martínez, S., Balaguer, C., 2024a. Seleccion y agarre robótico de objetos basada en el seguimiento de la mirada. In: Actas del Simposio de Robotica, Bioingeniería y Visión por Computador: Badajoz, 29 a 31 de mayo de 2024. Servicio de Publicaciones, pp. 127–132.

Menendez, E., Martínez, S., Díaz-de María, F., Balaguer, C., 2024b. Integrating egocentric and robotic vision for object identification using siamese networks and superquadric estimations in partial occlusion scenarios. Biomimetics 9 (2), 100. DOI: 10.3390/biomimetics9020100

Miller, A. T., Allen, P. K., 2004. Graspit! a versatile simulator for robotic grasping. IEEE Robotics & Automation Magazine 11 (4), 110–122. DOI: 10.1109/MRA.2004.1371616

Mon-Williams, R., Li, G., Long, R., Du, W., Lucas, C. G., 2025. Embodied large language models enable robots to complete complex tasks in unpredictable environments. Nature Machine Intelligence, 1–10. DOI: 10.1038/s42256-025-01005-x

Morrison, D., Corke, P., Leitner, J., 2020. Learning robust, real-time, reactive robotic grasping. The International journal of robotics research 39 (2-3), 183–201. DOI: 10.1177/0278364919859066

Pages, J., Marchionni, L., Ferro, F., 2016. Tiago: the modular robot that adapts to different research needs. In: International workshop on robot modularity, IROS. Vol. 290.

Pekarek Rosin, T., Hassouna, V., Sun, X., Krohm, L., Kordt, H.-L., Beetz, M., Wermter, S., 2024. A framework for adapting human-robot interaction to diverse user groups. In: International Conference on Social Robotics. Springer, pp. 24–38. DOI: 10.1007/978-981-96-3525-2_3

Tanneberg, D., Ocker, F., Hasler, S., Deigmoeller, J., Belardinelli, A., Wang, C., Wersing, H., Sendhoff, B., Gienger, M., 2024. To help or not to help: Llm-based attentive support for human-robot group interactions. In: 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, pp. 9130–9137. DOI: 10.1109/IROS58592.2024.10801517

Vemprala, S., Bonatti, R., Bucker, A., Kapoor, A., 2023. Chatgpt for robotics: Design principles and model abilities. 2023. Published by Microsoft. DOI: 10.1109/ACCESS.2024.3387941

Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., Cao, Y., 2023. React: Synergizing reasoning and acting in language models. In: International Conference on Learning Representations (ICLR).

Descargas

Publicado

01-09-2025

Número

Sección

Robótica