1. 연구 배경

현실 - 가상환경의 정렬과 가상화된 객체의 시각적 일관성은 혼합현실(MR)에서 존재감(presence)을 성립시키는 필요조건이며, 작은 오차도 사용자가 즉시 알아차려 가상화에 대한 신뢰를 저해한다. 기존의 공간 스캐닝, 메시 생성, 후처리 및 수동 정합 파이프라인은 정적 환경을 전제로 하기에 환경 변화 시 재스캔을 수행해야 하는 부담이 크며, 처리 시간이 길어 사용자 경험까지 도달하는 속도가 느리다. 따라서, 사전 구축을 최소화하면서, MR 장면 안의 현실 객체를 생성형 AI를 활용하여 즉각적으로 가상화하고, 시각적 일관성을 유지하기 위한 월드 정합(위치, 크기, 자세) 방법을 제안한다.

그림 1. 실제 객체와 생성된 3D 모델

생성형 AI로 만든 3D 모델을 MR 환경에 배치할 때 해결해야 할 문제가 2가지 존재한다. 첫째는 크기 불일치 문제이다. 생성형 AI로 만든 3D 모델은 현실 객체의 위치, 크기, 자세 등을 고려하지 않는다. 때문에 그림 1과 같이 현실 객체의 실제 크기를 잘 반영하지 못한 상태로 객체가 생성된다. 본 연구에서는 깊이 이미지(depth image)를 물리 단위 크기 제약으로 활용해 크기를 보정하는 방법을 제안한다.

그림 2. 월드 정합 과정



두 번째는 좌표계 불일치 문제이다. 생성된 3D 모델의 기준 좌표계와 월드 좌표계가 서로 달라, 3D 모델을 그대로 배치하면 현실 공간 기준에서의 위치·자세가 일치하지 않는다. 따라서 본 연구에서는 자세 추정 모델을 이용해 HMD 좌표계에서 객체의 자세를 추정한 뒤, HMD → 월드 변환을 통해 월드 좌표계로 변환한다. (그림 2)

2. 제안 방법

생성형 AI를 사용하기 위한 서버, MR 환경에 객체를 배치하기 위한 클라이언트 구조로 설계하였다. 서버에서는 전처리, 3D 모델 생성, 3D 모델 크기 보정, 자세 추정 과정을 진행하며, 클라이언트에서는 이미지 저장, MR 환경 내 객체 배치 과정을 진행한다. 그림 3은 전체 파이프라인을 나타내는 그림이며 설명은 다음과 같다.

그림 3. 제안 방법 파이프라인

- 데이터 획득 (Client)

클라이언트에서 HMD를 통해 원하는 객체를 촬영하고 RGB 이미지, 깊이 이미지, 카메라 MetaData(RGB Camera Intrinsic, Pose, Depth to World Matrix)를 저장하고 서버로 전송한다. 

- 3D 모델 생성 (Server)

SAM 모델을 통해 RGB 이미지의 배경을 제거하고 Image to 3D AI를 이용하여 객체의 3D 모델을 생성한다. 

- 전처리 (Server)

RGB 이미지와 깊이 이미지의 정렬을 위한 재투영(Reprojection)과 해상도 최적화를 위한 다운 샘플링(Downsampling)을 진행한다. 먼저 재투영 단계에서는 깊이 이미지의 정보를 월드 복원 행렬(Depth_to_World_Matrix)로 3D 공간에 복원한 뒤, RGB Camera Intrinsic과 Pose 정보로 산출된 뷰 행렬(View Matrix)을 통해 다시 투영함으로써 정렬된 깊이 이미지(Reprojected Depth Image)를 획득한다. 이어지는 다운 샘플링 과정에서는 시각적 왜곡을 줄이기 위해 RGB 이미지에는 영역 보간법을, Mask 이미지에는 최근접 이웃 보간법을 적용하여 데이터 정확도를 유지하며, 변경된 해상도에 맞춰 Low-res intrinsic을 산출한다. 

그림 4. 3D 모델 크기 보정 과정



- 3D 모델 크기 보정 (Server)

그림 4는 재투영 깊이 이미지를 이용하여 3D 모델의 크기를 보정하는 과정이다. Mask 이미지와 재투영 깊이 이미지로 객체 부분의 깊이 정보만 추출한 뒤, 클러스터링 알고리즘인 DBSCAN과 통계적 이상치 제거(SOR)로 노이즈 깊이 정보를 제거한다. 이후 주성분 분석(PCA)으로 객체의 Oriented Bounding Box(OBB)를 구하여 가장 긴 주축 길이(u_p)를 구한다. AI를 통해 생성한 3D 모델에 대해서도 주성분 분석으로 OBB를 구한 뒤 가장 긴 주축 길이(u_m)를 구한다. 이후 추출한 정보에서 얻은 주축 길이를 3D 모델에서 얻은 주축 길이로 나눈 값(u_p/u_m)을 스케일 팩터로 사용하여 3D 모델에 유니폼 스케일링을 적용한다.

- 자세 추정 (Server)

최종적으로 전처리된 이미지 정보들과 크기 보정을 마친 3D 모델(Rescaled 3D model)을 자세 추정 모델(Pose Estimation)의 입력값으로 사용하여, HMD 좌표계 기준에서의 객체 자세 정보인 RGB Cam to Obj Matrix를 도출한다. 이후 추정한 자세 정보, 보정한 3D 모델을 클라이언트에게 전송한다.

- MR 장면 내 객체 배치 (Client)

클라이언트에서는 전송받은 데이터와 캡처 당시 기록한 카메라의 월드 자세 정보(World to RGB Cam Matrix)를 이용하여 MR 장면에 객체를 배치한다.

3. 결과

그림 5. MR 장면내 배치 결과

그림 5는 MR 장면 내 객체의 배치 결과이다. 수동 정합은 자세 추정 모델 없이 직접 객체의 위치를 조작하여 배치한 것이며, 자동 정합은 자세 추정 모델을 통해 MR 환경에 배치한 결과이다. 3D Scan 방법은 Mobile 환경에서 Photogrammetry 방법을 적용하였다. 테스트 결과, MR 환경 안에서 버튼 클릭 하나로 객체에 대한 3D 모델이 현실 객체와 자세가 맞춰진 상태로 즉석에서 나타나는 것을 확인하였다.

4. 향후 계획

현재 단계에서는 깊이 이미지 해상도의 한계로 인해 세부 깊이 정보가 부족하여 자세 추정 시 미세한 오차가 발생하며, 특히 소형 객체의 경우 크기 보정 프로세스가 불안정함을 확인하였다. 이를 해결하기 위해 향후 고해상도 깊이 센서를 도입하여 데이터의 정밀도를 높일 예정이다. 또한, 2AFC(Two-Alternative Forced Choice) 방식의 사용자 평가를 실시하여 제안하는 AI 기반 즉각 가상화 기법의 몰입감을 기존 방식과 비교하고, 통계 분석을 통해 기술적 타당성을 최종 검증할 계획이다.