[그림1] 본 연구에서 제안된 자율 운항 선박의 접안 방법

자율 운항 선박 기술이 발전함에 따라, 복잡한 항만 환경에서의 안전한 자동 접안은 핵심 과제로 대두되고 있다. 기존의 자동 접안 방식들은 정확한 접안 지점에만 의존하거나 명시적인 경로 계획을 선행해야 했기 때문에, 연산 지연과 높은 계산 비용을 발생시켜 실시간 대응에 한계가 있었다. 특히 선박은 바람, 조류, 파도와 같은 환경적 외란에 크게 영향을 받지만, 기존 방법은 이를 충분히 고려하지 못해 심각한 위치 오차와 충돌 위험을 초래하곤 했다. 본 연구에서는 이러한 한계를 극복하고 예측 불가능한 환경 속에서도 안전한 접안을 수행하기 위해, 심층 강화 학습을 이용한 자율 운항 선박의 접안 방법을 제안한다. 제안된 방법은 복잡한 동력학을 가진 부족 구동 선박을 실시간으로 제어하도록 설계되었다. 제안된 방법의 핵심 중 하나는 외란 무작위화이다. 선박에 탑재된 센서만으로는 선박에 실제로 작용하는 외란의 물리적 크기를 정확히 파악하기 어렵다. 이를 극복하기 위해 학습 과정의 매 에피소드마다 Surge, Sway, Yaw 방향에 무작위의 외부 힘을 가하여 에이전트가 다양한 외란 속에서도 제어력을 잃지 않도록 강건성을 향상시켰다. 또한, 외란의 부분 관측성 문제를 해결하기 위해 LSTM(Long Short Term Memory) 레이어가 결합된 Recurrent PPO(Proximal Policy Optimization) 알고리즘을 사용했다. 이를 통해 에이전트는 과거의 관측 및 행동 기억을 활용하여 동적 환경에서의 시계열적 종속성을 파악하고 안정적으로 정책을 최적화할 수 있다. 이 학습 시스템은 이상적인 정적 환경에서 시작해 강한 외란이 존재하는 복잡한 동적 환경으로 난이도를 점진적으로 높여가는 커리큘럼 학습을 통해 학습 안정성을 극대화했다.

본 알고리즘을 6자유도 자율 운항 선박 모델인 Otter USV(Unmanned Surface Vehicle)에 적용하여 시뮬레이션을 수행한 결과, 무작위적인 환경 외란이 가해지는 상황에서도 선미 접안과 선수 접안을 안정적으로 수행해내는 것을 검증했다. 본 연구는 심층 강화 학습을 활용해 측정 불가능한 외란을 스스로 추론하고 극복하는 자율 운항 선박 제어의 새로운 가능성을 확인했다는 점에서 의의가 크다. 향후에는 실제 바다 환경에서 실제 자율 운항 선박을 활용한 현장 실험을 수행하고, 혼잡한 항구 내의 다른 선박과 같은 동적 장애물을 회피하는 연구로 확장해 나갈 계획이다.