WebXR에서의 협동 로봇 원격조작을 위한 뷰 인터페이스 비교

Comparing View Interfaces in WebXR for Remote Operation of Collaborative Robots

연구 동기

확장현실은 다양한 분야에서 혁신을 이끌고 있음에도 불구하고, 원격 조작 분야에서는 이 기술이 아직 기초적인 단계에 머물고 있다. 이는 주로 디지털트윈 생성 기술의 한계로 인해 현실 세계가 가상 환경에 충분히 반영되지 못하고, 제한된 사용자 인터페이스로 인해 몰입감과 현실감이 저하되기 때문이다. 대부분의 원격 조작 시스템들은 현실 세계의 조작 인터페이스를 그대로 적용하여, 확장현실의 고도화된 인터페이스를 충분히 활용하지 못하고 있다.

본 연구에서는 현실적이고 몰입도 높은 사용자 경험을 제공하고자 1)최신 디지털트윈 생성 기술 적용 및 2)뷰 인터페이스 개선을 제안한다.

1) (디지털트윈) Gaussian splatting 기반의 3D 재구성 방법을 활용하여 원격 조작 시스템에 적용가능한 수준의 디지털 트윈 구현

2) (뷰 인터페이스) 웹기반 확장현실 원격 협업 플랫폼인 WXR(Webized eXtended Reality)에 3D 재구성된 디지털트윈 뷰 인터페이스 통합

3) (검증 방법) 제안한 3D 뷰와 기존의 2D 및 360° 카메라 뷰에 따른 원격 로봇조작의 효율성과 사용자 경험 실험 방법 제안

시스템 구성

 그림 1. 웹기반 인간-로봇 원격 협업 시스템의 구성

본 연구에서 제안하는 시스템은 인간-인간 원격 협업 플랫폼인 WXR을 확장하여 개발되었다. 인간-로봇 협업을 위해 작업 현장에서 사용되는 협동 로봇의 단말기는 WXR 서버와 통신할 수 있도록 구성되었으며, 로봇의 자세는 제조사가 지원하는 UR Control Box를 활용하여 계산 및 갱신된다. 또한 현장 상황을 로봇에 부착된 2D, 360 카메라를 이용해 획득하여 원격지에 위치한 사용자에게 2D, 360 그리고 재구성된 3D 뷰 인터페이스를 제공한다. 사용자는 HMD를 착용하고 맨손 또는 컨트롤러로 로봇을 제어할 수 있게 설계되었으며, 이 HMD는 사용자의 손과 머리의 위치정보를 WXR 서버에 전달한다. WXR 서버는 로봇 및 사용자의 위치정보를 그림 1의 WXR Workspace와 같이 XR 공간에 표현하며 지속적으로 동기화한다.

작업 환경

그림 2. 실험을 위한 작업 환경

2D/360/3D 세 가지 뷰 인터페이스를 비교하기위해 그림 2와 같은 작업 환경을 구성할 예정이다. 깊이감이 필요한 표면으로의 로봇 티칭을 수행할 수 있도록 작업 대상물을 설계했으며 작업 환경은 측면 및 정면의 카메라에 의해 원격 제어 사용자에게 공유되며 로봇에 설치된 카메라를 활용한  세 가지 뷰 인터페이스(2D/360/3D) 역시 그림 3과 같이 제공된다. 사용자는 뷰 인터페이스를 보고 가상의 로봇을 잡고 움직이는 다이렉트 티칭을 수행하며, 이때의 티칭 정확도와 수행 시간 등을 측정한다.

그림 3. 원격 제어 사용자에게 제공되는 세 가지 뷰 인터페이스