Control Multimodal en Entornos Inciertos usando Aprendizaje por Refuerzos y Procesos Gaussianos

Resumen

El control de sistemas complejos puede ser realizado descomponiendo la tarea de control en una secuencia de modos de control, o simplemente modos. Cada modo implementa una ley de retroalimentación hasta que se activa una condición de terminación, en respuesta a la ocurrencia de un evento exógeno/endógeno que indica que la ejecución del modo debe finalizar. En este trabajo se presenta una propuesta novedosa para encontrar una política de conmutación óptima para resolver el problema de control optimizando alguna medida de costo/beneficio. Una política óptima implementa un programa de control multimodal óptimo, el cual consiste en un encadenamiento de modos de control. La propuesta realizada incluye el desarrollo y formulación de un algoritmo basado en la idea de la programación dinámica integrando procesos Gaussianos y aprendizaje Bayesiano activo. Mediante el enfoque propuesto es posible realizar un uso eficiente de los datos para mejorar la exploración de las soluciones sobre espacios de estados continuos. Un caso de estudio representativo es abordado para demostrar el desempeño del algoritmo propuesto.

Abstract

The control of complex systems can be done decomposing the control task into a sequence of control modes, or modes for short. Each mode implements a parameterized feedback law until a termination condition is activated in response to the occurrence of an exogenous/endogenous event, which indicates that the execution mode must end. This paper presents a novel approach to find an optimal switching policy to solve a control problem by optimizing some measure of cost/benefit. An optimal policy implements an optimal multimodal control program, consisting in a sequence of control modes. The proposal includes the development of an algorithm based on the idea of dynamic programming integrating Gaussian processes and Bayesian active learning. In addition, an efficient use of the data to improve the exploration of the continuous state spaces solutions can be achieved through this approach. A representative case study is discussed and analyzed to demonstrate the performance of the proposed algorithm.

Referencias no citadas

Abate et al., 2008, Adamek and Sobotka, 2008, Åström and Karl Johan, 2003, Axelsson et al., 2007, Azuma et al., 2010, Barton et al., 2006, Bemporad et al., 2011, Bemporad et al., 1999, Bensoussan and Menaldi, 2000, Bertsekas and Dimitri, 2000, Blackmore et al., 2010, Borrelli et al., 2005, Bryson et al., 1975, Busoniu et al., 2010, Cassandras et al., 2007, Deisenroth and Marc Peter, 2010, Deisenroth et al., 2009, Di Cairano et al., 2009, Ding et al., 2009, Egerstedt et al., 2006, Girard, 2004, Kuss, 2006, Liberzon, 2003, Lincoln and Rantzer, 2006, Lunze et al., 2010, Mehta, 2005, Mehta et al., 2006, Mehta et al., 2008, Pajares Martin-Sanz and De la Cruz Garcia, 2010, Rantzer, 2006, Rasmussen, 2006, Rosenstein et al., 2004, Salichs et al., 2010, Shi et al., 2006, Song et al., 2010, Sutton et al., 1998, Verdinelli et al., 1992, Xu et al., 2003, Xu et al., 2011 and Zhang et al., 2009.