Zlepšení Q-učení použitého pro řízení AML

Improvement of Q-learning Used for Control of AMB

conference paper

en

Active magnetic bearing (AMB) is perspective design element; however AMB itself is unstable and must be stabilized by feedback control loop. Artificial intelligence methods, which use real time machine learning, can be used for the proposition of new control methods, which either improve the AMB control, or require less complex control electronics. The paper is focused on use of reinforcement learning version called Q-learning. As the conventional Q-learning architectures learning process is too slow to be practical for real control tasks, the paper proposes improvement of Q-learning by partitioning the learning process into two phases: prelearning phase and tutorage phase. Prelearning phase requires computational model but is highly efficient, tutorage phase uses conventional real time Q-learning and assumes the interaction with the real system. To demonstrate the qualities of developed controllers the performance of AMB model controlled by such controller is compared with the performance of AMB model controlled by referential PID controller.

Aktivní magnetické ložisko (AML) je perspektivní návrhový prvek; ale AML samo je nestabilní a musí být stabilizováno zpětnovazební smyčkou. Metody umělé inteligence, které používají strojové učení v reálném čase lze použít pro návrh nových metod řízení, které jednak zlepšují řízení AML nebo vyžadují méně složitou řídicí elektroniku. Článek se soustřeďuje na použití verze opakovaně posilovaného učení, která se nazývá Q-učení. Protože konvenční architektury Q-učené jsou příliš pomalé na to, aby byly použitelné pro úlohy řízení, článek navrhuje zlepšení Q-učení rozdělením Q-učení do dvou fází: fáze předučení a doučovací fáze. Fáze předučení vyžaduje výpočtový model, ale je vysoce efektivní, doučovací fáze používá konvenční Q-učení v reálném čase a předpokládá interakci se soustavou. K demonstrování povahy vyvinutých řídicích členů je porovnáno chování modelu AML řízeného takovým řídicím členem s modelem řízeným referenčním PID.

Active magnetic bearing (AMB) is perspective design element; however AMB itself is unstable and must be stabilized by feedback control loop. Artificial intelligence methods, which use real time machine learning, can be used for the proposition of new control methods, which either improve the AMB control, or require less complex control electronics. The paper is focused on use of reinforcement learning version called Q-learning. As the conventional Q-learning architectures learning process is too slow to be practical for real control tasks, the paper proposes improvement of Q-learning by partitioning the learning process into two phases: prelearning phase and tutorage phase. Prelearning phase requires computational model but is highly efficient, tutorage phase uses conventional real time Q-learning and assumes the interaction with the real system. To demonstrate the qualities of developed controllers the performance of AMB model controlled by such controller is compared with the performance of AMB model controlled by referential PID controller.

Control, Q-learning, Active Magnetic Bearing

2003

24.09.2003

Košice, Slovak Republik

80-89061-77-X

Electrical Drives and Power Electronics 2003

Neuveden

4