Control adaptativo basado en aprendizaje por refuerzo para sistemas no lineales complejos: aplicación a un CSTR

Resumen

Este trabajo propone una estrategia de control adaptativo para la regulación de la concentración en un reactor continuo de tanque agitado (CSTR, por sus siglas en inglés Continuous Stirred Tank Reactor), en la que un agente de aprendizaje por refuerzo ajusta en línea las ganancias de un controlador PID con el objetivo de imponer una dinámica deseada en bucle cerrado. La metodología combina la interpretabilidad y robustez de los controladores clásicos tipo PID con la capacidad adaptativa del aprendizaje por refuerzo, mediante una función de recompensa definida a partir del error entre la respuesta del sistema y el comportamiento dinámico de referencia. Para ello, se emplea un agente basado en el algoritmo Deep Deterministic Policy Gradient (DDPG). Los resultados obtenidos en simulación muestran que la estrategia propuesta permite mantener una respuesta dinámica más consistente frente a variaciones del punto de operación, superando el desempeño de enfoques clásicos de control adaptativo, como la planificación de ganancias.