서론

가헌학술상은 신도리코 비영리 법인 가헌신도재단이 수여하는 상으로, 한국정밀공학회, 한국정보과학회, 한국CDE학회에서 추천을 받은 자 중 산업기술 및 과학분야에서 탁월한 업적으로 학문 발전에 기여한 연구자를 선정해 상금과 상패를 수여하는 상입니다. 한국CDE학회에서는 정규논문집(국문/영문)에 게재된 논문을 대상으로 학술적인 기여도가 가장 높다고 인정되는 눈문의 저자에게 격년으로 (국내부문/국제부문) 가헌학술상을 수상합니다. 

지난 2025년 CDE 하계 학술대회에서 2025년 국제부문 가헌학술상을 수상하게 된 것은 저에게 크나큰 영광입니다. 산업기술 및 과학 분야의 탁월한 업적을 기리기 위해 제정된 유서 깊은 상을 받게 되어 무한한 기쁨과 함께 무거운 책임감을 느낍니다. 이 자리를 빌려 저의 연구를 지지하고 격려해주신 모든 분들께 진심으로 감사드립니다.

가헌학술상을 수상한 논문은 Journal of Computational Design and Engineering 의 Volume 8, Issue 2에 2021년 4월에 출판된 "현실 세계에서의 작업을 위한 가상현실 너머의 XR 협업 (XR collaboration beyond virtual reality: work in the real world)"에 대한 연구입니다. 저희 연구는 디지털 협업의 세계와 물리적인 작업의 세계 사이에 존재하는 오랜 간극을 메우고, 기존 가상현실(VR)의 한계를 넘어 실제 현장에서 효과적으로 사용할 수 있는 도구를 만들고자 하는 열망에서 시작되었습니다.

연구의 시작: 왜 우리는 가상현실을 넘어서야 하는가?

컴퓨터를 이용한 원격 협업의 꿈은 반세기가 넘는 역사를 가지고 있습니다. 1968년, 더글라스 엥겔바트(Douglas Engelbart)가 선보인 '모든 데모의 어머니(The Mother of All Demos)'는 실시간 협업, 하이퍼텍스트, 원격 화상회의 등 현대 컴퓨터 협업 시스템의 원형을 제시하며 하나의 거대한 비전을 쏘아 올렸습니다. 이 역사적인 시연은 컴퓨터가 단순한 계산기를 넘어 인간의 지능을 증강하고 협업을 촉진하는 매개체가 될 수 있음을 보여준 기념비적인 사건이었습니다.   

그로부터 수십 년간 컴퓨터 지원 협업 연구(Computer-Supported Cooperative Work, CSCW)는 그룹웨어의 등장, 웹 2.0과 소셜 컴퓨팅의 확산 등을 거치며 꾸준히 발전해왔습니다. 특히 2020년대에 들어서면서 원격 근무가 폭발적으로 증가함에 따라, 우리는 시공간의 제약을 뛰어넘는 협업 기술의 중요성을 그 어느 때보다 절실히 체감하게 되었습니다. 이러한 시대적 요구에 부응하여 가상현실(VR), 증강현실(AR), 혼합현실(MR)을 아우르는 확장현실(eXtended Reality, XR) 기술이 차세대 협업의 패러다임으로 급부상했습니다.   

하지만 이러한 기술의 발전 이면에는 새로운 문제들이 자리 잡고 있었습니다. 현재의 XR 협업 도구들은 각자의 영역에 머물러 파편화되어 있습니다. 화상회의 기반의 원격 지원 시스템은 현장의 모습을 높은 충실도(high fidelity)로 전달할 수 있지만, 사용자의 몰입감(immersion)은 현저히 떨어집니다. 반대로, 가상 오피스나 회의실과 같은 VR 기반 시스템은 높은 몰입감을 제공하지만, 우리가 실제로 일하고 문제를 해결해야 하는 '현실 세계'와는 단절되어 낮은 충실도를 보입니다. 이로 인해 사용자는 기술의 종류에 따라 서로 다른 경험을 강요받으며, 진정한 의미의 통합적 협업이 이루어지기 어려운 상황입니다.   

더욱 근본적인 문제는 현재의 메타버스 및 XR 플랫폼들이 거대 기술 기업들의 독점적인 생태계 안에서 운영되는 '벽으로 둘러싸인 정원(Walled Gardens)'과 같다는 점입니다. 특정 플랫폼에서 제작된 콘텐츠나 경험은 다른 플랫폼과 호환되지 않으며, 이는 사용자들을 특정 기술에 종속시키고 자유로운 협업의 가능성을 제한합니다. 이러한 폐쇄적인 구조는 과거 웹(Web)이 개방성과 상호운용성을 바탕으로 폭발적인 혁신을 이끌었던 것과는 정반대의 길을 가고 있습니다. 저희 연구는 바로 이 지점에서 시작되었습니다. 어떻게 하면 이 파편화된 기술들을 융합하고, 폐쇄적인 생태계를 넘어, 사용자가 '현실 세계의 작업'에 온전히 집중할 수 있는 개방적인 협업 환경을 만들 수 있을까? 이 질문에 답하기 위해 저희는 먼저 기존의 개념적 틀을 넘어서는 새로운 접근이 필요하다고 생각했습니다.

새로운 지평의 탐색: 가상-현실 연계와 통합 XR의 개념

XR 협업의 문제를 해결하기 위해, 저희는 먼저 현상을 정확하게 분석하고 목표를 정의할 새로운 개념적 틀이 필요했습니다. 전통적으로 XR 기술은 현실과 가상 사이의 연속적인 스펙트럼을 의미하는 폴 밀그램(Paul Milgram)의 '현실-가상 연속체(Reality-Virtuality Continuum)'로 설명되어 왔습니다. 그러나 이 모델은 디스플레이 기술의 관점에 치우쳐 있어, 사용자가 가상 객체와 현실 객체 간에 얼마나 의미 있는 상호작용을 하는지를 설명하는 데에는 한계가 있었습니다. 예를 들어, AR 안경을 통해 현실의 기계 위에 가상의 설명서를 띄워놓는 것과, 원격 전문가가 VR 환경에서 가상의 기계를 조작했을 때 현실의 기계가 동일하게 움직이는 것은 협업의 차원에서 전혀 다른 수준의 상호작용입니다.

이러한 한계를 극복하기 위해 저희는 '가상-현실 연계 연속체(Virtual-Real Engagement Continuum)'라는 새로운 개념 모델을 제안했습니다. 이 모델은 사용자와 시스템 간의 상호작용 수준을 세 단계로 정의합니다.   

1. 비연계(Not Engaged): 가상 객체와 그에 대응하는 현실 객체가 존재하지 않거나, 존재하더라도 아무런 관계가 없는 상태입니다.

2. 시각적 연계(Visually Engaged, But NOT Functionally): 가상 객체가 현실 객체의 형태나 상태를 시각적으로 복제하여 보여주지만, 기능적으로는 동기화되지 않은 상태입니다. 예를 들어, 현실 객체의 3D 모델을 가상 공간에서 함께 보는 경우가 이에 해당합니다.

3. 완전 연계(Fully Engaged): 가상 객체와 현실 객체가 시각적, 기능적으로 완벽하게 동기화된 상태입니다. 한쪽에서의 조작이 다른 쪽에 실시간으로 반영되어, 마치 하나의 객체처럼 동작하는 것을 의미합니다.

이 새로운 연속체는 XR 협업 시스템의 궁극적인 목표가 바로 '완전 연계' 상태를 구현하는 것임을 명확히 제시합니다. 즉, 원격에 있는 전문가는 VR 환경에서, 현장에 있는 작업자는 AR 환경에서 동일한 디지털 트윈(Digital Twin)을 매개로 상호작용하며, 이들의 모든 조작이 현실 세계의 물리적 객체(Physical Twin)에 완벽하게 반영되어야 한다는 것입니다.

이러한 개념적 틀을 바탕으로, 저희는 서로 다른 메타버스(플랫폼)를 넘나들며 협업한다는 의미의 '크로스-메타버스(Cross-Metaverse)' 또는 'DTw-XR(Digital Twin-eXtended Reality) 원격 협업 모델'이라는 비전을 구체화했습니다. 이 모델은 현장의 AR 사용자와 원격의 VR 사용자가 현실 공간을 실시간으로 복제한 디지털 트윈을 중심으로 만나, 마치 같은 공간에 있는 것처럼 물리적인 작업을 함께 수행하는 미래를 그립니다. 이는 단순히 화면을 공유하거나 가상 공간에서 만나는 것을 넘어, 디지털 세계에서의 협업이 물리 세계의 변화로 직접 이어지는, 진정한 의미의 원격 실무(tele-work)를 가능하게 하는 청사진입니다. 이 비전을 기술적으로 실현하는 것이 바로 저희 연구의 핵심 과제였습니다.

기술적 구현: 웹 표준 기반 WXR 플랫폼의 설계와 개발 

'크로스-메타버스'라는 비전을 현실로 만들기 위해, 저희는 특정 기업의 독점 기술이 아닌 개방형 국제 표준, 즉 월드와이드웹 컨소시엄(W3C)의 웹 표준을 기반으로 하는 기술 개발에 집중했습니다. 특정 하드웨어나 소프트웨어에 종속되지 않고 누구나 웹 브라우저만 있다면 XR 협업에 참여할 수 있도록 하는 것이 '벽으로 둘러싸인 정원' 문제를 해결할 유일한 방법이라고 믿었기 때문입니다. 이러한 철학 아래 저희는 'WXR(Webized eXtended Reality)' 플랫폼을 설계하고 개발했습니다. WXR 플랫폼의 핵심적인 기술적 혁신은 다음과 같습니다.

첫째, 통합 XR 콘텐츠 표현(Unified XR Content Representation) 기술입니다. 기존에는 AR용 앱과 VR용 앱을 별도로 개발해야 했습니다. 이는 개발 비용과 시간을 증가시키는 주된 요인이었습니다. 저희는 단 하나의 통합된 데이터 구조로 콘텐츠를 저작하면, 사용자의 접속 환경(AR 모드 또는 VR 모드)에 따라 자동으로 변환되어 렌더링되는 기술을 세계 최초로 개발했습니다. 동일한 코드 블록이 AR 환경에서는 현실 카메라 영상 위에 3D 모델을 증강하고, VR 환경에서는 완전한 가상 공간을 구성하는 방식으로 자동 해석됩니다. 이를 통해 '한 번의 저작으로 어디서든(author once, experience anywhere)' 실행 가능한 환경을 구축하여 개발 효율성을 획기적으로 높였습니다.

둘째, 통합 XR 좌표계(Unified XR Coordinate System) 기술입니다. 현실 세계의 객체를 원격에서 정밀하게 제어하기 위해서는 모든 참여자가 동일한 좌표계를 공유하는 것이 필수적입니다. 하지만 AR 환경에서는 카메라가 계속 움직이기 때문에 객체가 움직인 것인지 카메라가 움직인 것인지 구분하기 어려운 '비결정성 문제(indeterminacy problem)'가 발생합니다. 저희는 공간을 대표하는 기준 마커(base marker)와 조작 대상이 되는 타겟 마커(target marker) 간의 상대적 위치 관계를 수학적으로 계산하여, 카메라의 움직임과 무관하게 객체의 절대적인 3D 위치와 자세를 일관되게 유지하는 알고리즘을 개발했습니다. 이 기술 덕분에 원격의 VR 사용자가 디지털 트윈을 조작하는 것이 현장의 AR 환경에 오차 없이 정확하게 반영될 수 있으며, 이는 정밀한 원격 유지보수나 로봇 제어와 같은 산업 응용에 핵심적인 역할을 합니다.

셋째, 실시간 현실 캡처(Real-time Reality Capture) 기술입니다. 원격 전문가가 현장 상황을 정확하게 파악하기 위해서는 단순히 3D 모델을 보는 것을 넘어, 시시각각 변화하는 현장의 모습을 입체적으로 인지할 수 있어야 합니다. 저희는 아이패드 프로와 같은 상용 모바일 기기의 LiDAR 센서를 이용해 현장 공간의 3D 형상 정보를 실시간으로 스캔하고, 이를 원격 VR 사용자에게 스트리밍하는 기술을 구현했습니다. 이를 통해 원격 전문가는 마치 순간이동을 한 것처럼 현장의 공간 구조와 작업자의 위치를 직관적으로 파악하며 협업에 임할 수 있게 됩니다.

이러한 핵심 기술들은 WXR 라이브러리와 서버 아키텍처를 통해 유기적으로 통합됩니다. WXR 라이브러리는 다양한 XR 기기(모바일, HMD 등)와 웹 브라우저 간의 차이를 흡수하는 중간 다리 역할을 하며, WXR 서버는 여러 사용자 간의 상호작용 데이터를 실시간으로 중계하여 모든 참여자가 동일한 XR 작업 공간을 공유하도록 합니다.   

실증과 적용: 연구실에서 산업 현장으로

저희는 개발한 WXR 플랫폼의 실효성을 검증하기 위해 통제된 실험실 환경에서의 평가와 더불어, 극한의 신뢰성을 요구하는 산업 및 국방 현장에 기술을 직접 적용하는 도전을 감행했습니다.

먼저, 저희는 정량적인 성능 평가를 위해 현장 작업자(AR)와 원격 전문가(VR)가 협력하여 복잡한 조립 과제를 수행하는 사용자 평가를 설계하고 진행했습니다. 이 실험에서 저희는 협업의 효율성을 세 가지 다른 시각 정보 공유 방식(전통적인 2D 영상, 360도 영상, 그리고 저희가 제안하는 실시간 3D 복원 환경)에 따라 비교 분석했습니다. 실시간 3D 복원 환경을 사용했을 때, 작업 완료 시간과 작업자의 이동 거리가 다른 두 방식에 비해 현저하게 단축되었습니다. 또한, 사용자 설문 평가에서는 '객체 직접 제어' 기능이 의사소통, 집중도, 공간 인지, 과업 완수 등 거의 모든 항목에서 가장 도움이 되는 기능으로 평가받았습니다. 이는 저희가 제안한 '완전 연계' 개념이 실제 협업의 효율성을 높이는 데 직접적으로 기여함을 실험적으로 증명한 것입니다.   

이러한 실험실 수준의 검증을 넘어, 저희는 WXR 기술을 대한민국 국방의 핵심 현장에 적용하는 기회를 가졌습니다. 대한민국 해군 잠수함사령부와의 협력을 통해, 저희 플랫폼을 실제 손원일급 잠수함(SS-078 유관순함)의 승조원 훈련 및 원격 정비 시스템으로 구축하여 적용 실험을 진행했습니다. 잠수함 내부는 수많은 장비가 밀집된 복잡하고 폐쇄적인 공간으로, 원격 기술 지원에 있어 극도의 정밀성과 안정성이 요구되는 환경입니다. 현장의 승조원이 AR 디바이스를 사용하고, 육상의 정비 전문가가 VR 환경에서 잠수함 내부의 디지털 트윈을 보며 고장 부위를 정확히 지시하고 수리 절차를 안내할 수 있습니다. 이 적용 사례는 저희 기술이 연구실의 프로토타입을 넘어 국가 안보에 기여할 수 있는 견고하고 신뢰성 높은 시스템임을 입증하는 증거가 되었습니다.

나아가 저희는 대한민국 해병대에 기동형 정비, 수리, 운영(MRO)을 위한 '모바일 스마트 팩토리' 솔루션을 납품하며 기술의 적용 범위를 확장했습니다. 컨테이너 형태의 이동식 공장 내부에 설치된 산업용 로봇과 3D 프린터 등을 WXR 플랫폼을 통해 원격으로 제어하고 교육하는 이 시스템은, 저희 기술이 국방 분야 뿐만 아니라 스마트 제조 분야에서도 높은 활용 가치를 지니고 있음을 보여줍니다. 특히 핸드 트래킹을 이용해 원격지에서 직관적으로 산업용 로봇(KUKA, UR 등)을 실시간 제어하고, 3D 주석이나 로봇의 TCP 궤적 시각화와 같은 협업 도구를 통해 인간과 로봇의 상호작용을 지원하는 기술은 스마트 팩토리의 생산성과 안전성을 한 단계 끌어올릴 잠재력을 가지고 있습니다.

맺음말

저희는 현재의 성과에 안주하지 않고, WXR 플랫폼을 더욱 지능적이고 자율적인 시스템으로 발전시키기 위한 연구를 계속하고 있습니다.

그중 하나는 자율비행 드론을 이용한 3D 스캐닝 기술입니다. 현재는 사람이 직접 모바일 기기로 공간을 스캔해야 하지만, 앞으로는 드론이 실내 공간을 자율적으로 비행하며 3D 디지털 트윈을 자동으로 생성하고, 변화가 발생하면 이를 감지하여 스스로 업데이트하는 기술을 개발하고 있습니다. 이는 디지털 트윈 구축 및 유지보수에 필요한 시간과 노력을 획기적으로 줄여줄 것입니다.   

또한, 저희는 설명가능 인공지능(XAI)과의 융합을 통해 디지털 트윈을 한 차원 더 높은 수준으로 발전시키고자 합니다. DTw-XR 작업 공간 내에서 인공지능 모델의 판단 근거를 시각적으로 설명해줌으로써, 원격 전문가가 단순히 시스템을 제어하는 것을 넘어 인공지능과 소통하며 더 나은 의사결정을 내릴 수 있도록 돕는 것이 목표입니다.   

마지막으로, 저희 기술의 적용 분야를 국방, 제조를 넘어 국민의 삶과 직결되는 헬스케어 분야로 확장하고 있습니다. 현재 안면마비 환자들이 병원에 오지 않고도 자택에서 인공지능 기반의 진단과 재활 훈련을 받고, 필요시 의료진과 원격으로 협업할 수 있는 솔루션을 개발하고 있습니다. 이는 저희 기술이 가진 사회적 기여의 가능성을 보여주는 또 다른 사례가 될 것입니다.   

다시 한번, 저에게 이처럼 큰 영광을 안겨주신 가헌신도재단과 한국CDE학회에 진심으로 감사드립니다. 앞으로도 현실 세계의 문제를 해결하고, 디지털 세계와 물리적 세계를 연결하여 사람들이 더 효과적으로 함께 일할 수 있도록 돕는 의미 있는 연구를 위하여 노력하겠습니다.

감사합니다.