의료 현장은 진단 영상, 수술 비디오, 그리고 이를 둘러싼 의료진과 공간의 상호작용까지 빠르게 디지털화되고 있다. 이러한 영상 및 영상정보를 어떻게 이해하고 해석하여 임상 의사결정으로 연결할 것인가가 핵심 과제로 부상하는 가운데, 인공지능(Artificial Intelligence, AI)과 확장현실(eXtended Reality, XR)은 의료영상 정보를 단순한 기록을 넘어 교육, 진단, 수술 보조, 환자 모니터링의 능동적 도구로 전환시키고 있다.

서울대학교병원 융합의학과 공현중 교수는 서울대학교 전기공학부(전자공학)에서 학사를, 서울대학교 대학원 의공학과에서 석사와 박사 학위를 취득하였다. 전자공학과 의공학을 두루 거친 공학자로서 의료 현장에 직접 적용 가능한 연구를 지향하며, 융합의학과 과장이자 융합의학기술원 첨단 VR 영상 연구 담당 교수로서 융합의학과 의생명공학 분과 가운데 의료영상 분야를 담당하고 있다. 이러한 맥락에서 공현중 교수가 이끄는 의료영상정보학연구실(Medical Imaging & Informatics Lab)은 의료 공간 컴퓨팅(Medical Spatial Computing, MediSC)을 핵심 비전으로 설정하고 있다. 이는 AR, VR, MR을 아우르는 XR 기술과 AI를 융합하여 환자 안전, 진료 질, 비용 효율성, 사용자 중심성을 향상시키는 것을 목표로 한다. MediSC의 모든 연구는 의료 현장에서 생성되는 영상 및 비디오 데이터와 정보, 지식의 이해, 소통, 활용, 관리라는 공통 토대 위에 서 있으며, 교육 및 훈련, 진단 및 수술 전 계획, 수술 중 보조, 환자 모니터링, 그리고 수술 후 재활과 디지털 치료제에 이르기까지 의료의 전 과정을 아우르는 다양한 응용 영역으로 확장된다.

그림 1. 3차원 스캔 기반 병원 공간 디지털 트윈

연구실의 명칭이자 비전인 의료 공간 컴퓨팅(Medical Spatial Computing)은 영상과 비디오를 단일 객체 수준에서 인식하는 것을 넘어, 의료 행위가 이루어지는 병원 공간 전체에서 의료진과 장비, 환자의 상호작용을 입체적으로 이해하는 것을 지향한다. 수술실은 물론, 병동과 진료 공간, 재활 공간에 이르기까지 의료가 이루어지는 다양한 공간이 그 대상이 된다.

이를 위해 MediSC는 XR과 AI를 융합하여 의료 공간의 영상정보를 3차원적으로 해석하고, 그 안에서 일어나는 행위를 공간적으로 추적하고 분석하는 기술을 연구한다. 임상 환경에서 자세 추정 기반 동작 평가와 같이 의료진과 환자의 행위를 정량화하는 연구가 그 기반을 이룬다. MediSC는 이러한 공간 컴퓨팅 기술이 진단, 교육, 수술, 모니터링의 각 단계에서 의료영상 정보의 활용도를 높이는 핵심 토대가 된다고 보고, 영상 AI와 XR을 잇는 통합적 관점에서 연구를 수행하고 있다.

1. 의료영상과 수술 비디오를 해석하는 의료영상 AI

의료영상은 진단의 핵심 근거이지만, 영상에 담긴 정보를 정량화하고 임상적으로 해석 가능한 형태로 전환하는 데에는 컴퓨터 비전과 기계학습 기술이 필요하다. MediSC는 컴퓨터 비전, 영상 처리, 기계학습을 포괄하는 인공지능 기술을 의료영상 및 비디오에 적용하는 연구를 수행한다.

의료영상 AI 연구는 진단 영상 분석과 수술 비디오 분석, 그리고 인체 동작 분석의 흐름으로 이어진다. 진단 영상 영역에서는 CT를 비롯한 의료영상을 대상으로 병변 및 장기 분할, 질환 진단과 중증도 예측처럼 영상 정보를 정량적 임상 지표로 전환하는 연구를 수행한다. 수술 비디오 영역에서는 수술 영상에서 수술 도구와 행동을 인식하고, 수술 과정을 단계적으로 해석하는 연구를 수행한다. 나아가 자세 추정 기반의 인체 동작 분석을 통해 환자의 재활 운동과 의료진의 술기를 정량적으로 평가하는 연구로 확장하고 있다. 이러한 연구는 영상 인식을 넘어 수술 안전 모니터링과 의료 행위의 정량적 분석으로 이어지며, 임상 각 과와의 긴밀한 협업을 통해 실제 진료 현장의 현안을 해결하는 방향으로 발전하고 있다.

그림 2. 초음파 영상 기반 유방 보형물 탐지 및 분류 모델

2. 몰입형 환경에서 교육과 환자 경험을 혁신하는 의료 XR

MediSC는 의료영상 정보를 3차원 몰입 환경에서 재구성하여 교육과 훈련, 수술 전 계획, 그리고 환자 경험 개선에 활용하는 연구를 수행한다. 전통적인 의료 교육과 수술 준비가 가진 한계를 XR 기술로 보완하고, 의료진과 환자 모두에게 보다 직관적인 경험을 제공하는 것이 목표이다.

교육 측면에서는 수술 과정을 가상 환경에서 체험하고 반복 훈련할 수 있는 수술 시뮬레이터와 더불어, 인턴과 전공의의 기본 술기 교육을 위한 시뮬레이터를 함께 개발해 왔다. 환자 측면에서는 수술 절차를 안내하여 불안을 완화하는 몰입형 콘텐츠, 그리고 재활과 운동을 지원하는 XR 기반 콘텐츠를 연구한다. 또한 다수의 기기와 사용자가 함께 참여하는 XR 기반 플랫폼을 통해 원격 협업과 몰입형 의료 교육의 가능성도 탐색하고 있다. 이러한 XR 연구는 독립적으로 머무르지 않고 영상 AI 및 공간 컴퓨팅 기술과 결합되어, 실제 의료 행위의 평가와 보조로 이어지는 방향으로 발전하고 있다.

그림 3. 가상현실 기반 복강경 수술 시뮬레이터

맺음말

MediSC는 의료영상과 비디오를 이해하고 해석하며, 이를 XR과 공간 컴퓨팅으로 확장하여 교육, 진단, 수술, 재활, 모니터링의 임상 의사결정으로 연결하는 연구를 수행한다. 연구실의 주제들은 의료영상 AI, 의료 XR, 의료 공간 컴퓨팅이라는 서로 다른 외형을 갖지만, 의료영상 정보를 환자 중심의 가치로 전환한다는 하나의 지향으로 수렴한다.

앞으로 의료 분야는 영상 AI와 XR이 긴밀하게 결합되며, 단일 영상 인식을 넘어 의료 공간과 행위 전체를 이해하는 방향으로 발전할 것으로 예상된다. MediSC는 이러한 변화 속에서 공학적 해석과 임상 현장의 접점을 넓혀가며, 미래의료를 뒷받침할 실용적이고 확장성 있는 연구를 지속해 나가고자 한다.