연구배경

기존 로봇 제어 방식은 PID, MPC, LQR 등과 같은 모델 기반 제어 기법이 주로 활용되어 왔다. 이러한 방식은 정밀한 모델링과 선형 시스템 가정을 전제로 하기 때문에 예측 가능한 환경에서는 우수한 성능을 발휘한다. 그러나 복잡한 환경이나 외란이 존재하는 상황에서는 제어 성능이 급격히 저하되며, 고차원 시스템에 적용하기 어렵고 모든 상황을수식으로 표현하기에는 근본적인 한계가 있다. 이러한 한계를 보완하기 위해 최근에는 강화학습 기반 제어가 주목받고 있다. 강화학습은 도메인 랜덤화와 커리큘럼 학습을 통해 모델링 오차나 비선형 접촉 문제를 극복할 수 있으며, 이를 통해 로봇은 복잡한 환경에서도 안정적으로 동작하고 불확실한 상황에서도 스스로 적응하여 제어 성능을 향상시킬 수 있다.

연구목표

본 연구에서는 강화학습을 실제 로봇 제어에 적용할 때 사용되는 두 가지 대표적인 방식인 위치 제어(Position Control)와 토크 제어(Torque Control)를 비교 대상으로 삼았다. 이를 통해 강화학습이 적용된 각 방식이 어떠한 차이를 보이는지, 그리고 각각의 장단점이 어떻게 드러나는지를 명확히 규명하고자 한다. 평가 항목은 외란이 가해졌을 때의 자세 안정성으로 설정하였으며, 이는 로봇의 몸체 기울기와 높이를 얼마나 잘 유지하는지, 그리고 초기 자세와 얼마나 유사하게 복원되는지를 기준으로 삼았다. 실험은 동일한 환경과 동일한 학습 조건(입력, 보상, 이벤트, 명령)을 유지한 상태에서, 제어 방식만 달리하여 진행하였다. 이때 강화학습에서의 제어 방식은 다음과 같이 정의된다. 위치 제어는 정책 네트워크가 목표 관절 각도를 출력하면 내부 PD 제어기가 이를 토대로 목표 토크를 계산해 제어를 수행하는 방식이며, 토크 제어는 정책 네트워크가 각 관절의 토크를 직접 출력하여 제어를 수행하는 방식이다.

실험결과

본 연구에서는 휠-레그 로봇의 구조적 특성을 고려하여 학습 데이터에 포함되지 않은 외란값인 앞뒤 방향(x축) 순간속도 1.0m/s와 1.75 m/s를 가해 자세 안정성과 복원 능력을 평가하였다. 실험 결과, 위치 제어는 외란 직후 큰 진동과 불안정성을 보이며 기준 자세를 유지하지 못한다. 반면 토크 제어는 일시적인 변동은 있었으나 빠르게 목표 높이와 자세로 복귀하며 상태를 유지하였다. 따라서 높이, 롤, 피치 모든 항목에서 토크 제어가 외란에 대한 강인성과 복원력에서 우수한 성능을 보이는 방식임을 확인하였다.

<push v_x=1.0 m/s - Base_Height/Roll/Pitch graph>

<push v_x=-1.0 m/s - Base_Height/Roll/Pitch graph>

<push v_x=1.75 m/s - Base_Height/Roll/Pitch graph>

<push v_x=-1.75 m/s - Base_Height/Roll/Pitch graph>

결론

본 실험을 통해 얻은 결과는 다음과 같다. 우선 토크 제어는 외란에 대해 강인한 성능을 보였으며, 학습 데이터에 포함되지 않은 새로운 상황에서도 높은 안정성을 확인할 수 있었다. 특히 목표 높이를 안정적으로 추종하는 능력이 뛰어났다. 그러나 위치 제어에 비해 학습 시간이 길고 보상 함수 파라미터에 대한 민감도가 높아 세밀한 조정이 필요하다는 한계가 있었다. 반면 위치 제어는 상대적으로 빠른 학습 속도와 낮은 파라미터 민감도로 적은 학습량에서도 안정적인 성능을 확보할 수 있었다. 다만 목표 높이 추종에서 약 3cm의 오차가 발생하여 완벽한 높이 유지에는 한계가 있었다. 정리하면, 토크 제어는 외란 강인성과 목표 높이 추종 성능이 중요한 상황에서 유리하며, 위치 제어는 빠른 학습과 단순한 보상 설계가 요구되는 상황에서 적합하다는 결론을 얻을 수 있었다.