1. 연구 배경

조선소 강재 적치장은 공간 효율을 극대화하기 위해 수직 적재(LIFO) 방식을 채택하였다. 이러한 구조적 특징으로 인해 하단 강재 반출 시 상단 강재를 이동해야 하는 반출 간섭이 필연적으로 발생하였으며, 이는 크레인의 불필요한 재취급을 유발하여 물류 처리 속도를 저하시키는 주된 원인으로 작용하였다. 기존의 작업자 경험이나 단순 규칙 기반 알고리즘은 현장의 불확실성에 유연하게 대응하기 어렵다는 한계가 존재하였다. 또한 심층 강화학습을 적용한 선행 연구들조차 적치장을 2차원 행렬이나 그리드 맵 형태로 변환하는 공간적 접근 방식을 채택하여, 강재 간의 물리적 순차 구조를 직접적으로 반영하지 못하는 한계가 지적되었다.

그림 1. 강재 적치장 내 문제 도식화

2. 연구 목표

본 연구는 적치장의 복잡한 구조적 제약 하에서 발생하는 재취급 횟수를 최소화하는 최적의 적치 전략을 도출하는 것을 목표로 하였다. 이를 위해 외부의 복잡한 전처리 과정 없이, 에이전트가 정적인 2차원 공간이 아닌 바닥부터 상단으로 이어지는 순차적 데이터로부터 스택의 구조적 특징을 자율적으로 학습할 수 있는 새로운 시퀀스 기반의 심층 강화학습 방법론을 제안하였다.

3. 연구 내용

본 연구에서는 근접 정책 최적화(PPO) 알고리즘을 기반으로 한 '반출 우선순위 통합형 순환 신경망(Priority-Integrated GRU, Pi-GRU)' 아키텍처를 도입하였다. 제안 모델은 스택의 물리적 적치 상태 특징과 강재의 반출 우선순위 정보를 결합하였으며, 우선순위 정보를 잠재 공간 내에서 가산적으로 통합하여 에이전트가 반출이 긴급한 스택에 주의를 기울이도록 유도하였다. 또한, 스택 수 증가에 따라 팽창하는 행동 공간의 연산 효율성 저하 문제를 완화하기 위해, 반출 스택을 먼저 선택하고 이후 해당 스택의 특징 벡터를 문맥 정보로 주입하여 적치 스택을 순차적으로 결정하는 '자기회귀적 조건부 정책 분해' 방식을 활용해 의사결정의 효율성과 학습 안정성을 향상시켰다.

그림 2. 제안하는 신경망 아키텍처 구조

4. 실험 결과 및 결론

본 연구는 문제 크기를 소규모에서 대규모까지 단계적으로 확장하는 시나리오를 통해 제안 모델을 검증하였다. 실험 결과, 상태 공간의 크기가 기하급수적으로 증가하는 상황에서도 제안 모델은 성능 저하 없이 확장성을 유지함과 동시에 안정적인 추론 성능을 입증하였다. 특히, 가장 큰 문제 크기인 30×20 환경에서도 블로킹 최다 우선 알고리즘(Most-Blocking First, MBF) 대비 약 2.6배의 효율성 격차를 유지하였다. 이는 문제 규모가 커질수록 최적해 탐색에 실패하여 성능 격차가 확대되는 기존 단순 규칙 기반 알고리즘들과 대조되며, 만성적인 공간 부족 문제에 직면한 대규모 조선소 환경에서 제안 모델이 실효성 있는 해법으로 적용 가능함을 입증하였다.

그림 3. 규모 확장에 따른 성능 비교 확장성 분석 결과 그래프