Current Issue

본 연구에서 대상으로 하는 이중 서보 스테이지는 장거리 이송과 고정밀 위치 제어를 동시에 만족하기 위해 Fig. 1과 같이 조동 스테이지(coarse stage)와 미동 스테이지(fine stage)로 구성된다. 조동 스테이지는 리니어 BLDC 모터와 리니어 모션 가이드를 기반으로 수백 밀리미터 이상의 이송 범위와 고속 응답을 담당하며, 미동 스테이지는 보이스 코일 모터(VCM)와 플렉셔 구조를 이용하여 나노미터 수준의 정밀 위치 보정을 수행한다. 이러한 역할 분담을 통해 전체 스테이지는 넓은 작업 영역과 높은 위치 정밀도를 동시에 확보할 수 있다.

Fig. 1 
Schematic of dual-servo stage

조동 스테이지는 비교적 큰 관성 및 마찰 특성을 가지며, 주로 저주파 영역에서의 위치 추종 성능이 지배적이다. 반면, 미동 스테이지는 작은 질량과 높은 기계적 강성을 바탕으로 고주파 영역에서의 빠른 응답과 미세 보정에 유리하다. 두 스테이지는 직렬 구조로 결합되어 동일한 위치 출력에 기여하므로 조동–미동 스테이지 간의 동특성 불일치와 기구적 결합 효과로 인해 상호 간섭이 발생할 수 있다. 이러한 상호작용은 협조 제어 성능을 저하시켜 오버슈트 증가, 정착 시간 지연, 미세 추종 오차를 유발하는 주요 원인이 된다.

본 연구에서는 미동 스테이지의 동특성을 정밀하게 파악하기 위해 주파수 응답 함수(frequency response function, FRF)를 측정하였다. Fig. 2는 HP DSA 35670A FRF 측정 결과를 나타내며, 제어기 설계 및 안정성 확보를 위한 기준으로 활용된다. 특히, FRF 기반 분석은 강화학습 과정에서 불안정한 제어 입력이 발생하지 않도록 학습 가능 영역을 제한하는 데 중요한 근거를 제공한다. 또한 측정된 FRF 결과는 시스템 식별을 통해 시뮬레이션용 대리 모델을 구성하는 데 활용되었으며, 강화학습이 수행되는 시뮬레이션 환경에 실제 미동 스테이지의 동톡성을 반영하기 위한 기준으로 적용되었다. 나아가 FRF 분석을 통해 확인된 공진 주파수 및 안정 여유 정보를 바탕으로 제어기 설계 시 허영 가능한 제어 입력 범위를 정의하였으며, 해당 범위는 강화학습 과정에서 PID 스케일링 인자의 탐색 범위를 제한하는 안정 영역으로 적용되어 학습 중 불안정한 제어 입력이 발생하지 않도록 하였다.

Fig. 2 
Frequency response function

이중 서보 스테이지의 제어 구조는 조동 스테이지와 미동 스테이지가 각각 독립적인 제어 루프를 가지는 형태로 구성된다. 조동 스테이지는 기존 PID 제어기를 통해 기준 위치를 추종하며, 미동 스테이지는 조동 스테이지의 잔여 오차를 보상하는 역할을 수행한다. 본 연구에서는 이러한 구조적 특성을 고려하여 조동 스테이지에는 기존 PID 제어기를 적용하고, 미동 스테이지에는 강화학습 기반 PID 제어기를 적용함으로써 이중 서보 스테이지의 협조 성능을 향상시키고자 한다.

이중 서보 스테이지의 협조 제어에서 미동 스테이지는 조동 스테이지의 잔여 오차를 보상하며 전체 위치 정밀도를 결정하는 핵심 요소이다. 일반적인 PID 제어기는 구조가 단순하고 안정성이 우수하지만, 마찰, 공진, 정렬 오차 등 비선형성과 불확실성이 존재하는 실제 이중 서보 시스템 환경에서는 성능이 제한적이다. 특히 미동 스테이지는 고주파 영역에서의 빠른 응답과 정밀 제어가 요구되므로, 고정된 PID 게인만으로는 다양한 동작 조건에 대해 일관된 성능을 유지하기 어렵다.

본 연구에서는 이러한 한계를 극복하기 위해 미동 스테이지에 강화학습 기반 PID제어기(RL-PID)를 적용한다. 제안된 RL-PID는 기존 PID 구조를 유지하되, 비례(proportional), 적분(integral), 미분(derivative) 항에 대한 스케일링 인자(α, β, γ)를 강화학습을 통해 조정하는 방식으로 설계된다. 이를 통해 제어기의 기본적인 안정성과 해석 가능성은 유지하면서도, 환경 변화와 비선형 특성에 대한 적응 능력을 확보할 수 있다. 초기 PID 게인은 Ziegler-Nichols 방법을 통해 설정하여 학습 초기 단계에서의 불안정한 응답을 완화하였다.

강화학습 에이전트의 상태(state)는 미동 스테이지의 위치, 속도, 위치 오차, 적분 오차로 구성되며, 이는 시스템의 현재 동작 상태와 누적 제어 성능을 동시에 반영한다. 행동(action)은 PID 제어기의 세 스케일링 인자(α, β, γ)로 정의되며, 연속적인 값으로 출력된다. 이러한 연속 제어 문제를 효과적으로 처리하기 위해 본 연구에서는 Deep Deterministic Policy Gradient (DDPG) 알고리즘을 사용하였다. DDPG는 Actor–Critic 구조를 기반으로 연속 행동 공간에서의 정책 학습이 가능하여, PID 스케일링 인자의 실시간 조정에 적합하다. 또한 비교적 안정적인 학습 특성을 가지므로, 산업 제어 환경에 적용 가능한 강화학습 알고리즘으로 판단하였다.

강화학습 기반 제어기의 안정성 확보를 위해, 본 연구에서는 성능 지표와 안정성 조건을 동시에 고려한 통합형 보상 함수 식 (2.1)을 설계하였다. 보상 함수는 위치 오차 및 누적 오차를 감소시키는 성능 항 식 (2.2)와 함께, Lyapunov 안정성 조건을 반영한 식 (2.3)을 포함한다. 식 (2.4)는 Lyapunov Function을 나타내며, K₁, K₂, K₃, ω₁, 그리고 ω₂는 제어 안정성과 응답 성능 간의 균형을 고려하여 실험적으로 결정하였다. 이때, ω₁과 ω₂는 ω₁+ω₂=1의 관계 식을 만족한다. 이를 통해 학습 과정에서 제어 성능 향상뿐만 아니라 안정적인 수렴을 유도한다. 또한, 주파수 응답 함수(FRF) 분석을 통해 도출된 Gain Margin 및 Phase Margin 기준을 바탕으로, 강화학습의 탐색 범위를 Fig. 3과 같이 MATLAB Reinforcement Learning Toolbox에서 요구하는 연속형 박스 기반 탐색 구조로 설계하였다. 이러한 설계는 강화학습 에이전트가 안전한 범위 내에서만 게인을 조정하도록 하여 학습 과정의 안정성을 확보하는 동시에, 성능 향상을 위한 충분한 탐색 자유도를 제공한다.

Fig. 3 
Action space

결과적으로 제안된 RL-PID 제어기는 기존 PID 제어기의 구조적 장점을 유지하면서, 강화학습을 통해 미동 스테이지의 비선형성과 외란에 대한 적응성을 향상시키도록 설계되었다. 이러한 제어 구조는 이중 서보 스테이지의 협조 성능 저하 문제를 완화하고, 고속, 고정밀 반도체 검사 장비에 적용 가능한 안정적인 지능형 제어 프레임워크를 제공한다.

제안한 강화학습 기반 PID (RL-PID) 제어기의 성능을 검증하기 위해 MATLAB/Simulink 환경에서 시뮬레이션을 수행하였다. 미동 스테이지 모델은 앞서 제시한 미동 스테이지의 동특성과 FRF 분석 결과를 반영하여 구성되었다. 강화학습 에이전트는 DDPG 알고리즘을 기반으로 500 에피소드 학습되었으며, 학습 과정 동안 FRF 기반 안정 영역과 Lyapunov 안정성 조건을 만족하도록 탐색 범위를 제한하였다.

Fig. 4는 미동 스테이지의 RL-PID가 100 μm 계단 입력에 대해 어떻게 적용되는지를 나타낸 것으로, 스케일링 인자, 제어 입력, 보상 값, 그리고 위치 응답의 변화를 도사하였다. 계단 입력 직후에는 Ziegler-Nichols 기반 초기 PID 게인으로 인해 큰 과도 오차가 발생하지만, 강화학습 에이전트는 오차와 적분 오차의 변동에 반응하여 스케일링 인자를 빠르게 조정하며 안정 영역으로 수렴하는 정책을 학습한다. 보상 값 역시 시간이 지날수록 꾸준히 증가하여, 에이전트가 안정성과 성능을 동시에 만족하는 제어 정책으로 수렴하고 있음을 보여준다.

Fig. 4 
Step response learning behavior of the RL-PID

기준 입력에 대한 RL-PID 제어기의 성능을 기존 PID 제어기와 비교하였다. 비교군으로 사용된 기존 PID는 MATLAB 내장 Auto-Tuner를 이용해 자동 튜닝하였으며, 이는 산업 현장에서 널리 사용되는 초기 설정 방식이다. 먼저 Fig. 5는 미동 스테이지 단독에 대한 100 μm 계단 입력 응답 비교를 나타낸다. 시뮬레이션 결과, 기존 PID는 28.5%의 오버슈트와 54.0 ms의 정착 시간(5%)을 보였으나, RL-PID는 오버슈트를 10.7%로 억제하고 정착 시간(5%)를 25.0 ms로 단축하여 과도응답에서 뚜렷한 성능 개선을 확인할 수 있다.

Fig. 5 
Step response simulation of the fine stage

Fig. 6은 본 연구의 직렬형 이중 서보 제어 블록 다이어그램을 나타내며, 레이저 간섭계를 주 센서로 사용하여 전체 스테이지의 고해상도 위치 정보를 기반으로 제어 루프가 구성된다. 미동 스테이지는 참조 입력과 간섭계로 측정된 변위의 차이를 직접 오차로 받아 정밀 보정을 수행한다. 반면, 조동 스테이지는 간섭계 측정값과 리니어 엔코더 측정값의 차이를 오차로 사용하여, 보조 센서인 엔코더의 절대 위치 정보를 활용한 안정적 장거리 이송 제어를 담당한다. 이와 같은 구성은 간섭계의 고해상도 및 고선형성 장점을 유지하면서도, 엔코더의 장거리 안정성 및 강인성을 활용해 두 센서가 상호 보완적으로 동작하도록 설계된 것이다. Fig. 7은 MATLAB/SImulink 기반으로 구현한 이중 서보 제어기의 전체 블록도이다.

Fig. 6 
Serial-type dual-servo control

Fig. 7 
Simulink model of serial-type dual-servo control

다음으로 이중 서보 스테이지 전체에 대한 시뮬레이션에서는 조동–미동 스테이지 간 협조 제어 성능을 평가하였다. 먼저 1 mm 계단 입력 시뮬레이션에서 조동 스테이지가 기준 위치를 추종하는 동안 미동 스테이지는 잔여 오차를 보상하며, RL-PID 제어기를 적용한 경우 전체 응답에서 오버슈트 감소와 빠른 수렴 특성이 확인되었다. 반면, 기존 PID 제어기만을 적용한 경우에는 동특성 불일치와 결합 효과로 인해 잔류 진동과 정착 시간 지연이 상대적으로 크게 나타났다. Fig. 8은 이중 서보 스테이지에 계단 입력을 인가했을 때의 시뮬레이션 결과를 나타낸다.

Fig. 8 
Step response simulation of the dual-servo stage

스케닝 환경을 모사하기 위해 Fig. 9와 같이 사다리꼴 속도 프로파일(감가속도 ±5mm/s², 정속 25mm/s)을 적용하여 추종 성능을 평가하였다. Fig. 10은 해당 사다리꼴 속도 입력에 대한 이중 서보 스테이지의 시뮬레이션 응답을 나타낸다. RL-PID는 정속 구간에서 RMSE 27.5 nm로 매우 우수한 추종 성능을 보였으며, 기존 PID의 73.8 nm 대비 약 62.7% 향상된 결과를 나타냈다. 반면, 가감속 구간에서는 RL-PID가 기존 PID보다 다소 큰 과도 오차를 보이는 구간이 관찰되었다. 이는 강화학습의 보상 구조가 정속 구간 오차 최소화를 우선적으로 학습하도록 설계되어, 속도 변화가 급격한 전이 구간에 대한 최적화가 상대적으로 덜 이루어진 결과로 해석된다. 그럼에도 불구하고, 실제 검사 품질은 정속 구간에서의 추종 정밀도가 가장 큰 영향을 미치므로, RL-PID는 전체 스캐닝 과정에서 기존 PID 대비 명확한 성능 우위를 제공한다.

Fig. 9 
Trapezoidal velocity profile

Fig. 10 
Trapezoidal velocity response simulation of the dual-servo stage

이러한 시뮬레이션 결과를 통해 제안한 RL-PID 제어기는 기존 PID 제어기 대비 정착 시간, 오버슈트 및 추종 오차 측면에서 향상된 성능을 보였으며, 이중 서보 스테이지의 협조 제어 성능 저하 문제를 효과적으로 완화할 수 있음을 확인하였다. 다음 절에서는 dSPACE 기반 실험 시스템을 통해 시뮬레이션 결과의 타당성을 실제 하드웨어 환경에서 검증한다.

제안한 강화학습 기반 PID(RL-PID) 제어기의 실효성을 검증하기 위해 dSPACE 기반의 실시간 제어 시스템을 이용한 실험을 수행하였다. 실험 제어 시스템은 Fig. 11의 제어 선도와 동일한 구조로 구현되었으며, 강화학습을 통해 학습된 RL-PID 정책은 실시간 모델로 변환된 뒤 dSPACE 보드에 삽입되었다. 이때, 고주파(50 Hz, 1 μm) 및 저주파(5 Hz, 5 μm) 외란 특성을 반영하여 추가 학습을 진행하였다. 제어 연산은 dSPACE DSP 프로세서에서 수행되며, 미동 스테이지의 빠른 동 특성을 반영하기 위해 제어 주기는 0.1 ms로 설정하였다.

Fig. 11 
Hardware configuration block diagram

Table 1은 실험에 사용된 전체 구성 요소의 제원을 정리한 것으로, 조동 스테이지의 BLDC 모터 사양, 미동 스테이지의 VCM 특성, 리니어 엔코더 및 레이저 간섭계의 해상도, 모터 드라이버의 출력 등 핵심 파라미터를 포함한다.

먼저 미동 스테이지에 100 μm의 계단 입력을 인가하여 단일 스테이지에서의 과도응답 특성을

비교하였다. Fig. 12에 나타난 바와 같이, 기존 PID 제어기는 약 27.5 ms의 정착 시간(5%)과 8.3%의 오버슈트를 보였으며, 약 50 Hz 대역의 구조적 외란으로 인해 응답 후반부에서 잔류 진동이 비교적 크게 발생하였다. 반면, RL-PID 제어기는 정착 시간(5%)이 13.3 ms로 기존 PID 대비 약 51% 단축되었고, 오버슈트 또한 6.1%로 감소하여 더욱 빠르고 안정적인 과도응답을 나타냈다. 두 제어기 모두에서 50 Hz 성분의 공통 외란이 관측되었으나, RL-PID는 해당 고주파 성분의 진폭을 억제하여 미동 스테이지의 실제 환경에서 발생하는 주기적 외란에 대해 더 높은 강인성을 보였다.

Fig. 12 
Step response experiment of the fine stage

이후 이중 서보 스테이지에 대해 1 mm 계단 입력을 인가하여 협조 제어 성능을 평가하였다. Fig. 13의 실험 결과에서 기존 PID는 조동 스테이지로부터 전달되는 비선형성, 관성 영향, 그리고 잔류 진동에 의해 단계 전환 구간에서 비교적 큰 오버슈트가 발생하였다. 반면, RL-PID 제어기는 조동 스테이지의 동 특성 변화를 실시간으로 보상하며 상승 및 하강 구간 모두에서 더 작은 진동과 더 빠른 감쇠를 보였다. 정상 상태에서도 RL-PID의 변위 추종 값이 기준 궤적에 더 가깝게 유지되었으며, 조동-미동 스테이지 간의 Coupling Error를 보다 효과적으로 억제한 것으로 나타났다. 이는 RL-PID가 이중 서보 스테이지에서도 조동 스테이지로부터 전달되는 복잡한 동적 영향을 적응적으로 대응하며 협조 제어 성능을 실질적으로 향상시킨 결과이다.

Fig. 13 
Step response experiment of the dual-servo stage

Fig. 14는 사다리꼴 속도 프로파일 입력 실험 결과를 나타낸다. 정속 구간에서의 RMSE는 기존 PID가 1.453 μm였던 반면 RL-PID는 0.966 μm로 약 33% 감소하여, RL-PID가 스캐닝 구간에서 한층 정밀한 추종 성능을 유지함을 확인할 수 있었다. 또한, 실험 결과에서 약 5 mm 간격으로 반복적으로 나타나는 미세한 피크는 조동 스테이지의 코깅 토크의 영향으로, 조동 스테이지의 영구자석 간격(약 30 mm)과 6극 구조가 결합될 때 발생하는 특성적 힘 변동에 의해 설명될 수 있다. 이러한 비선형 구간에서도 RL-PID는 기존 PID보다 오차 진폭을 더 효과적으로 억제하여 강인한 추종 특성을 보였다.

Fig. 14 
Trapezoidal velocity response experiment of the dual-servo stage