Fusión de imágenes y señales fisiológicas para modelar al conductor
DOI:
https://doi.org/10.17979/ja-cea.2025.46.12121Palabras clave:
Interacción humano-vehículo, Control compartido, Cooperación y nivel de automatización, Automatización y diseño centrado en el humano, Modelado fisiológico, Fusión de información y sensores, Redes neuronales, Vehículos autónomosResumen
En los niveles intermedios de automatización, los vehículos aún dependen del conductor como respaldo, lo que requiere estimar su disponibilidad cognitiva y física para retomar el control cuando sea necesario. Mientras el uso de imágenes o señales fisiológicas por separado ha demostrado su utilidad, su combinación presenta retos técnicos debido a la disparidad de dimensionalidad. Este trabajo propone una arquitectura de fusión que transforma señales fisiológicas en imágenes para integrarlas con datos visuales mediante autocodificadores entrenados con funciones de pérdida perceptual. La arquitectura se valida inicialmente con señales fisiológicas transformadas en imágenes, analizando distintas técnicas de conversión. De forma separada, se evalúan funciones de pérdida perceptual en autocodificadores aplicados a imágenes, destacando su utilidad para conservar la estructura visual en tareas de reconstrucción. Estos hallazgos refuerzan la viabilidad del enfoque y abren la puerta a futuras ampliaciones que integren datos visuales y evalúen el sistema en contextos más complejos.
Referencias
Bank, D., Koenigstein, N., Giryes, R., 2023. Autoencoders. Springer International Publishing, Cham. pp. 353–374. doi:https://doi.org/10.1007/978-3-031-24628-9_16.
Deng, M., Gluck, A., Zhao, Y., Li, D., Menassa, C.C., Kamat, V.R., Brinkley, J., 2024. An analysis of physiological responses as indicators of driver takeover readiness in conditionally automated driving. Accident Analysis & Prevention 195, 107372. doi:https://doi.org/10.1016/j.aap.2023.107372.
Kazemi, M., Rezaei, M., Azarmi, M., 2025. Evaluating driver readiness in conditionally automated vehicles from eye-tracking data and head pose. IET Intelligent Transport Systems 19, e70006. doi:https://doi.org/10.1049/itr2.70006.
Marcano, M., D´ıaz, S., P´erez, J., Irigoyen, E., 2020. A review of shared control for automated vehicles: Theory and applications. IEEE Transactions on Human-Machine Systems 50, 475–491. doi:https://doi.org/10.1109/THMS.2020.3017748.
Marwan, N., Carmen Romano, M., Thiel, M., Kurths, J., 2007. Recurrence plots for the analysis of complex systems. Physics Reports 438, 237–329. doi:https://doi.org/10.1016/j.physrep.2006.11.001.
Montoya, A., Holman, D., SF data science, Smith, T., Kan, W., 2016. State farm distracted driver detection. https://kaggle.com/competitions/state-farm-distracted-driver-detection. Kaggle.
Pihlgren, G.G., Sandin, F., Liwicki, M., 2020. Improving image autoencoder embeddings with perceptual loss, in: 2020 International Joint Conference on Neural Networks (IJCNN), pp. 1–7. doi:https://doi.org/10.1109/IJCNN48605.2020.9207431.
Puertas-Ramirez, D., Fernandez-Matellan, R., Martin-Gomez, D., G. Boticario, J., Tena-Gago, D., 2023. Improving Autonomous Vehicle Automation Through Human-System Interaction. The 37th annual European Simulation and Modelling Conference , 294–300.
SAE International, 2021. Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles. Technical Report. SAE International. doi: https://doi.org/10.4271/J3016_202104.
Slavic, G., Alemaw, A.S., Marcenaro, L., Mart´ın G´omez, D., Regazzoni,C., 2023. A kalman variational autoencoder model assisted by odometric clustering for video frame prediction and anomaly detection. IEEE Transactions on Image Processing 32, 415–429. doi:https://doi.org/10.1109/TIP.2022.3229620.
Wang, J., Yang, X., Wang, Z., Wei, X., Wang, A., He, D., Wu, K., 2024. Efficient mixture-of-expert for video-based driver state and physiological multi-task estimation in conditional autonomous driving. arXiv preprint arXiv:2410.21086. doi:https://doi.org/10.48550/arXiv.2410.21086.
Weigl, K., Schartm¨uller, C., and, A.R., 2023. Development of the questionnaire on non-driving related tasks (qndrt) in automated driving: revealing age and gender differences. Behaviour & Information Technology 42, 1374–1388. doi: https://doi.org/10.1080/0144929X.2022.2073473.
Xu, H., Li, J., Yuan, H., Liu, Q., Fan, S., Li, T., Sun, X., 2020. Human activity recognition based on gramian angular field and deep convolutional neural network. IEEE Access 8, 199393–199405. doi: https://doi.org/10.1109/ACCESS.2020.3032699.
Yan, J., Kan, J., Luo, H., 2022. Rolling bearing fault diagnosis based on markov transition field and residual network. Sensors 22. doi: https://doi.org/10.3390/s22103936.
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2025 Raúl Fernández Matellán, David Martín Gómez, Arturo de la Escalera Hueso
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
