Řízení přechodových stavů asynchronního elektromotoru založené na Q-učení

Control of transition states of asynchronous electromotor based on Q-learning

journal article - other

cs

Předložená disertační práce je zaměřena na využití metody Q-učení pro řízení asynchronního elektromotoru. Řízení se skládá z fáze předučení a fáze doučení. Během fáze předučení jsou na výpočtovém modelu prováděny pokusy, které jsou zpracovávány prováděním zálohování Q-učení v reálném čase. Výpočtový model může být pouze přibližný. V předložené práci je provedeno simulační ověření navržené metody na modelu asynchronního elektromotoru. Při řízení jsou měřeny pouze aktuální otáčky, z nichž je vypočtena aktuální regulační odchylka, její rychlost a zrychlení. Počáteční testy mají za úkol zjistit, jeví-li se jako vhodnější z hlediska úspěšnosti učení stav prostředí definovaný jako 1-D (uvažující pouze regulační odchylku), 2-D (uvažující regulační odchylku a její rychlost) nebo jako 3-D (uvažující regulační odchylku, její rychlost a zrychlení). Další experimenty se týkají optimalizace počtu intervalů lineárního a nelineárního rastru jednotlivých stavových veličin. Získané strategie řízení jsou posuzovány nejprve z hlediska dosažené hodnoty integrálního kriteria kvality regulace, z hlediska odolnosti dosažených strategií vůči chybám pozorování soustavy, odolnosti vůči zpoždění akčního zásahu a odezvy na skokový moment. Experimenty prováděné v další etapě jsou provedeny pro dokreslení vlastností strategií získaných ve fázi předučení. Je zde testován vliv různých posilovacích funkcí a vliv rozšíření množiny akcí jednak na rychlost předučení, jednak na odolnost strategie vůči náhodné chybě pozorování veličin, odolnost strategie vůči zpoždění akčního zásahu a odolnost strategie vůči skokovému momentu. V této etapě experimentů je také provedeno porovnání QL-regulátoru s referenčním PID regulátorem, jehož parametry byly nastaveny pomocí Ziegler-Nicholsova pravidla. Po ukončení experimentů s fází předučení jsou provedeny experimenty s fází doučení. Experimenty jsou zaměřeny na vyzkoušení zpřesňování a přizpůsobování již dosažené strategie získané ve fázi předučení s matematickým modelem asynchronního motoru, na změny parametrů reálné soustavy oproti simulačnímu modelu AM. Aktuálnost problematiky je vysoká. Vyhovuje současnému trendu výzkumu nových metod řízení, které jsou založeny na využití metod UI, zejména učení. Základním rysem učení je rozvinutá schopnost adaptace, tj. schopnost automaticky zlepšovat chování řízené soustavy např. při změně provozních parametrů, apod.

Předložená disertační práce je zaměřena na využití metody Q-učení pro řízení asynchronního elektromotoru. Řízení se skládá z fáze předučení a fáze doučení. Během fáze předučení jsou na výpočtovém modelu prováděny pokusy, které jsou zpracovávány prováděním zálohování Q-učení v reálném čase. Výpočtový model může být pouze přibližný. V předložené práci je provedeno simulační ověření navržené metody na modelu asynchronního elektromotoru. Při řízení jsou měřeny pouze aktuální otáčky, z nichž je vypočtena aktuální regulační odchylka, její rychlost a zrychlení. Počáteční testy mají za úkol zjistit, jeví-li se jako vhodnější z hlediska úspěšnosti učení stav prostředí definovaný jako 1-D (uvažující pouze regulační odchylku), 2-D (uvažující regulační odchylku a její rychlost) nebo jako 3-D (uvažující regulační odchylku, její rychlost a zrychlení). Další experimenty se týkají optimalizace počtu intervalů lineárního a nelineárního rastru jednotlivých stavových veličin. Získané strategie řízení jsou posuzovány nejprve z hlediska dosažené hodnoty integrálního kriteria kvality regulace, z hlediska odolnosti dosažených strategií vůči chybám pozorování soustavy, odolnosti vůči zpoždění akčního zásahu a odezvy na skokový moment. Experimenty prováděné v další etapě jsou provedeny pro dokreslení vlastností strategií získaných ve fázi předučení. Je zde testován vliv různých posilovacích funkcí a vliv rozšíření množiny akcí jednak na rychlost předučení, jednak na odolnost strategie vůči náhodné chybě pozorování veličin, odolnost strategie vůči zpoždění akčního zásahu a odolnost strategie vůči skokovému momentu. V této etapě experimentů je také provedeno porovnání QL-regulátoru s referenčním PID regulátorem, jehož parametry byly nastaveny pomocí Ziegler-Nicholsova pravidla. Po ukončení experimentů s fází předučení jsou provedeny experimenty s fází doučení. Experimenty jsou zaměřeny na vyzkoušení zpřesňování a přizpůsobování již dosažené strategie získané ve fázi předučení s matematickým modelem asynchronního motoru, na změny parametrů reálné soustavy oproti simulačnímu modelu AM. Aktuálnost problematiky je vysoká. Vyhovuje současnému trendu výzkumu nových metod řízení, které jsou založeny na využití metod UI, zejména učení. Základním rysem učení je rozvinutá schopnost adaptace, tj. schopnost automaticky zlepšovat chování řízené soustavy např. při změně provozních parametrů, apod.

Presented PhD thesis is focused on use of Q-learning method on asynchronous electric drive control. The control consists of prelearning and tutorage phase. During prelearning the attempts which are processed by real time Q-learning backup are performed on computational model. Computational model can be approximate only. Presented thesis show simulation verification of proposed method on asynchronous electric drive mode. Only the actual running speed was used for control; actual control error, its velocity and acceleration are calculated. Initial tests were performed in order to find what environment state definitions are more advantageous regarding the learning succesibility: 1-D (considers control error only), 2-D (considers control error and it’s velocity) or 3-D (considering control error, its velocity and acceleration). Further experiments consider optimization of linear and nonlinear grid of particular state variables. Found control policies were evaluated with respect to control quality integral criterion value, robustness of obtained policy against noise, robustness against action delay and step torque responses. Experiments performed in additional stage are performed to further test properties of policies found during prelearning. Tests include influence of various reinforcement functions and action set expansion on prelearning speed, robustness of obtained policy against noise, robustness against action delay and step torque responses. This stage also covers comparison of Q-learning based controller with referential PID controller, whose parameters were set by Ziegler-Nichols method. After prelearning stage experiments the tutorage stage experiments were performed. The experiments were focused on improvement and adaptation of already obtained policy found during prelearning stage with mathematical model of asynchronous drive and on changes of real system parameters against simulation model. The problem area is topical. It fits into current trend of research in new control methods based on artificial intelligence methods, learning particularly. The basic feature of learning is expanded ability of adaptation, meaning the ability to automatically improve the behaviour of controlled system during e.g. change of operational parameters, etc.

Q-učení, asynchronní elektromotor, řízení

Q-learning, asynchronous electromotor, control

20.12.2004

VUT v Brně

Brno, CZ

1213-4198

Vědecké spisy Vysokého učení technického v Brně - Edice PhD Thesis

Vědecké spisy vysokého učení technického v Brně Edice PhD Thesis

1

1

30