Contenido principal del artículo

Elisabeth Menéndez Salvador
Universidad Carlos III de Madrid
España
https://orcid.org/0000-0002-6758-1407
Santiago Martínez de la Casa Díaz
Universidad Carlos III de Madrid
España
https://orcid.org/0000-0003-3539-4583
Concepción Alicia Monje Micharet
Universidad Carlos III de Madrid
España
https://orcid.org/0000-0001-8295-127X
Carlos Balaguer Bernaldo de Quirós
Universidad Carlos III de Madrid
España
https://orcid.org/0000-0003-4864-4625
Núm. 45 (2024), Robótica
DOI: https://doi.org/10.17979/ja-cea.2024.45.10958
Recibido: jun. 5, 2024 Aceptado: jul. 3, 2024 Publicado: jul. 12, 2024
Derechos de autor

Resumen

Este artículo presenta un nuevo método de interacción humano-robot mediante el seguimiento de la mirada en entornos virtuales. Este enfoque reproduce aplicaciones reales en las que el usuario, equipado con gafas de seguimiento ocular, indica al robot qué objetos necesita fijando su mirada. Esta interacción se ha implementado en el simulador Gazebo, donde el usuario controla una cámara flotante con un mando. La cámara flotante imita la vista que ofrecen las gafas de seguimiento ocular y muestra esta perspectiva en la pantalla situada frente al usuario. Además, se instala una cámara dirigida hacia su rostro para determinar la zona de la pantalla que está observando. Utilizando esta información en el método de identificación del umbral de dispersión, se distingue eficazmente entre fijaciones y movimientos sacádicos de la mirada. Los experimentos preliminares realizados demuestran que el sistema es capaz de identificar el objeto en el que el usuario fija su mirada en entornos virtuales.

Detalles del artículo

Citas

Abal-Fernández, S., Caramazana-Zarzosa, C., Loureiro-Casalderrey, M. B., Martínez, S., Balaguer, C., Díaz-de María, F., González-Díaz, I., 2023. Learning rl policies for anticipative assistive robots by simulating human-robot interactions in real scenarios using egocentric videos. In: 2023 IEEE International Conference on Robotics and Biomimetics (ROBIO). pp. 1–8. DOI: 10.1109/ROBIO58561.2023.10354837 DOI: https://doi.org/10.1109/ROBIO58561.2023.10354837

Falch, L., Lohan, K. S., 2024. Webcam-based gaze estimation for computer screen interaction. Frontiers in Robotics and AI 11, 1369566. Haustein, J. A., Hang, K., Stork, J., Kragic, D., 2019. Object placement planning and optimization for robot manipulators. In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, pp. 7417–7424.

Haustein, J. A., Hang, K., Stork, J., Kragic, D., 2019. Object placement plan-ning and optimization for robot manipulators. In: 2019 IEEE/RSJ Interna-tional Conference on Intelligent Robots and Systems (IROS). IEEE, pp.7417–7424. DOI: https://doi.org/10.1109/IROS40897.2019.8967732

Koenig, N., Howard, A., 2004. Design and use paradigms for gazebo, an open-source multi-robot simulator. In: 2004 IEEE/RSJ international conference on intelligent robots and systems (IROS)(IEEE Cat. No. 04CH37566). Vol. 3. Ieee, pp. 2149–2154.

Koubâa, A., et al., 2017. Robot Operating System (ROS). Vol. 1. Springer. DOI: https://doi.org/10.1007/978-3-319-54927-9

Menéndez, E., Martínez, S., Balaguer, C., 2024. Selección y agarre robótico de objetos basada en el seguimiento de la mirada. In: Actas del Simposio de Robótica, Bioingeniería y Visión por Computador. Universidad de Extremadura, Servicio de Publicaciones, pp. 127–131.

Menéndez, E., Martínez, S., Díaz-de María, F., Balaguer, C., 2024. Integrating egocentric and robotic vision for object identification using Siamese networks and superquadric estimations in partial occlusion scenarios. Biomimetics 9 (2). DOI: https://doi.org/10.3390/biomimetics9020100

Pages, J., Marchionni, L., Ferro, F., 2016. Tiago: the modular robot that adapts to different research needs. In: International workshop on robot modularity, IROS. Vol. 290.

Pannasch, S., Helmert, J. R., Roth, K., Herbold, A.-K., Walter, H., 2008. Visual fixation durations and saccade amplitudes: Shifting relationship in a variety of conditions. Journal of Eye Movement Research 2 (2). DOI: https://doi.org/10.16910/jemr.2.2.4

Redmon, J., Divvala, S., Girshick, R., Farhadi, A., 2016. You only look once: Unified, real-time object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 779–788. DOI: https://doi.org/10.1109/CVPR.2016.91

Salvucci, D. D., Goldberg, J. H., 2000. Identifying fixations and saccades in eye-tracking protocols. In: Proceedings of the 2000 symposium on Eye tracking research & applications. pp. 71–78. DOI: https://doi.org/10.1145/355017.355028

Saran, A., Majumdar, S., Thomaz, A., Niekum, S., 2018. Real-time human gaze following for human-robot interaction. In: Proceedings of the International Conference on Human Robot Interaction. DOI: https://doi.org/10.1109/IROS.2018.8593580

Valtakari, N. V., Hooge, I. T., Viktorsson, C., Nystr¨om, P., Falck-Ytter, T., Hessels, R. S., 2021. Eye tracking in human interaction: Possibilities and limitations. Behavior Research Methods, 1–17. DOI: https://doi.org/10.1145/3395035.3425180