1. 연구 배경 및 목표

이산공간 강화학습 기반 로봇 경로 설계 플랫폼은 기존 상용 OLP(Offline Programming) 툴의 고비용·폐쇄적 구조의 한계를 극복하고, 연구·산업·교육 현장에서 모두 활용 가능한 저비용·개방형 경로 설계 솔루션이다. 본 플랫폼은 TCP 경로 변환 모듈, 역기구학 다중해 계산 모듈, 강화학습 모듈, 경로 시각화 모듈의 네 가지로 구성되며, CAD 형상 데이터로부터 추출한 5축 NC 경로를 6축 산업용 로봇의 TCP 경로로 자동 변환하고, 역기구학 다중해를 이산 행동공간으로 정의하여 PPO 알고리즘 기반 강화학습으로 최적 관절 궤적을 생성한다. 사용자는 경로 변환부터 다중해 계산, 강화학습 기반 최적화, PyBullet 시뮬레이션 시각화까지 단일 시스템 내에서 통합적으로 수행할 수 있다.  

그림 1. 이산공간 강화학습 기반 로봇 경로 설계 플랫폼

2. 연구 내용 및 성능 평가

본 플랫폼에서는 총 세 가지 방식으로 경로의 품질을 평가한다. 첫째, TCP 위치 오차(MAE)를 통해 형상 추종 정확도를 확인한다. 둘째, 자세 오차(MAE)를 통해 공구가 형상 법선 방향을 올바르게 유지하는지 검증한다. 마지막으로 각속도 및 각가속도의 RMSE를 통해 경로의 부드러움과 연속성을 정량적으로 평가한다. 강화학습을 통해 결정된 최적 경로는 경로 시각화 모듈에서 PyBullet 시뮬레이션 환경을 통해 시각적으로 검증되며, 궤적 추종 여부, 자세 변화, 관절 운동 범위, 충돌 여부를 사전에 확인할 수 있다.

그림 2. TCP 경로 변환 모듈 & 역기구학 다중해 계산 모듈 

TCP 경로 변환 모듈은 [그림 2]와 같이 상용 CAM 소프트웨어에서 추출한 5축 NC 코드를 입력받아, Python 기반 수식 모듈을 통해 6축 산업용 로봇이 수행 가능한 TCP 경로(X, Y, Z, Rx, Ry, Rz)로 자동 변환한다. 이를 통해 사용자는 별도의 복잡한 수식 계산 없이 CAD 형상 데이터로부터 로봇 경로 데이터를 즉시 확보할 수 있다.

역기구학 다중해 계산 모듈은 변환된 TCP 경로의 각 포인트에 대해 가능한 모든 관절 각도 조합을 산출한다. 사용자는 로봇의 DH 파라미터와 관절 가동 범위만 입력하면 포인트당 최대 14개의 관절 각도 조합을 얻을 수 있으며, 이 다중해는 이후 강화학습 모듈의 이산 행동공간으로 직접 활용된다. 또한 산출된 결과는 PyBullet 시뮬레이션과 연동되어 각 관절 조합에 해당하는 로봇 자세를 시각적으로 확인할 수 있다.

그림 3. 강화학습 모듈

강화학습 모듈은 [그림 3]과 같이 역기구학 다중해 계산 모듈에서 산출된 Waypoint별 다중해를 이산 행동공간으로 정의하여 PPO 알고리즘 기반의 경로 최적화를 수행한다. 에이전트는 각 Waypoint마다 다중해 중 하나의 관절 각도 조합을 선택하며, 형상의 TCP Waypoint 추종 정확도와 관절 속도·가속도 변화량을 기준으로 보상을 설계하였다. 또한 보상 함수와 환경 조건은 사용자가 직접 커스터마이징할 수 있어, 용접·적층·절삭 등 다양한 공정 목적에 맞는 경로 최적화가 가능하다. 이를 통해 형상에 수직을 유지하면서 관절 움직임이 부드러운 최적 경로를 자동으로 생성할 수 있다.

3. 결론 및 기대 효과

경로 시각화 모듈은 강화학습을 통해 결정된 최적 경로를 PyBullet 시뮬레이션 환경에서 시각적으로 검증한다. 사용자는 실제 로봇 모델과 CAD 형상이 로드된 가상 환경에서 궤적 추종 여부, 자세 변화, 관절 운동 범위, 충돌 여부 등을 사전에 확인할 수 있다. 이를 통해 실제 공정 투입 전에 경로의 안정성과 실행 가능성을 종합적으로 판단할 수 있다.

네 가지 모듈이 통합된 본 플랫폼을 통해 사용자는 고가의 상용 OLP 툴 없이도 CAD 형상 데이터로부터 최적화된 로봇 경로를 저비용·개방형 환경에서 생성하고 검증할 수 있다. 나아가 연구 개발, 교육 실습, 산업 현장 등 다양한 분야에서 유연하고 확장성 있는 경로 설계 도구로 활용될 수 있다.