본 연구는 이 3D-GS 기술을 활용하여 제한된 CCTV 환경에서도 고품질의 실내 디지털 트윈을 구축하는 방안을 제안하였다. 일반적으로 고해상도 이미지와 다량의 데이터를 필요로 하는 기존 3D 모델링 방식과 달리, 본 연구에서는 연구팀이 직접 설치한 12대의 CCTV를 통해 모든 데이터를 수집하였으며, 저해상도 이미지 12장만으로도 효과적인 3D 모델링이 가능함을 입증하였다. 이는 저비용·고효율의 실내 디지털 트윈 구축 가능성을 보여준다.
그림 1. 본 연구에서 제안하는 실내 디지털 트윈 구축 파이프라인 개요
본 연구에서는 실제 CCTV 환경과 유사한 실험 환경을 구축하기 위해, 실시간 동기화 촬영이 가능하도록 12대의 고정형 멀티뷰 CCTV 시스템을 설치 및 세팅하여 데이터를 수집하였다. 추가로 모바일 단일 시점 카메라(iPhone 16 Pro)를 활용하여 보완적인 시점 데이터를 확보하였다. 이를 통해 총 144장의 원본 이미지를 구축하였다.
확보된 원본 이미지를 대상으로 가우시안 블러(3×3, 9×9, 15×15, 25×25, 35×35 Kernel)와 손실 압축(10, 20, 30, 40, 50 Strength)을 포함한 총 11가지의 화질 저하 조건을 적용하였으며, YOLO v11 기반의 객체 탐지를 활용하여 인물 중심 크롭 여부(2가지) 및 화질 개선 처리 여부(Before & After)를 추가로 적용하였다. 이를 통해 최종적으로 총 6,336장(3,168장×2)의 실험 데이터를 구축하였다. 또한, SK Telecom과 협력하여 딥러닝 기반의 화질 개선 기법(Meta-Learner 기반)을 적용함으로써 저품질 이미지 환경에서도 고품질의 이미지 확보가 가능하도록 하였다.
하드웨어적으로는 Arducam 1080P 카메라 모듈과 Raspberry Pi 4를 통해 고정형 멀티뷰 시스템을 구축했으며, 고성능 GPU(GeForce RTX4090)가 탑재된 PC 환경에서 3D Gaussian Splatting 알고리즘을 적용하여 디지털 트윈 구축의 성능과 품질 개선 효과를 실험적으로 검증하였다.
그림 2. 본 연구에서 직접 구축한 데이터셋 및 실험 환경 구성 개요 (총 6,336장)
실험에서는 구축한 데이터셋을 활용하여 저품질 영상에 대한 딥러닝 기반 화질 개선 효과를 분석하였다. 이후, SK Telecom과 협력하여 개발한 딥러닝 기반 화질 개선 기술을 활용하여 화질 저하가 3D-GS 결과에 미치는 영향을 최소화하였다. 그림 3에서 나타난 바와 같이, 품질 저하가 발생한 이미지도 딥러닝 기반 화질 개선 알고리즘을 통해 디테일과 선명도를 정량적으로 상당 수준으로 복원할 수 있음을 확인하였다. 이는 실제 열악한 CCTV 환경에서도 본 파이프라인이 효과적으로 작동할 수 있음을 시사한다.
그림 3. CCTV 영상의 화질 저하 적용 전후 및 딥러닝 기반 화질 개선 결과 비교
또한, 본 연구에서는 YOLO 기반 객체 탐지 기술을 활용하여 관심 영역을 크롭(Crop)한 뒤 3D-GS를 수행하는 방식을 제안하였다. 그 결과, 그림 4에서 볼 수 있듯이, 전체 이미지를 활용한 경우보다 크롭된 이미지로 3D-GS를 수행한 결과가 더욱 선명하고 세부 표현이 뛰어난 것으로 나타났다. 이는 특정 객체 중심의 크롭 전략이 모델링 품질을 효과적으로 향상시킬 수 있음을 의미한다.
그림 4. YOLO 기반 객체 탐지 적용 전후의 3D Gaussian Splatting 렌더링 결과 비교
한편, 그림 5에서는 모바일 단일 시점 카메라로 촬영한 영상에 화질 저하 요소를 적용한 후, 딥러닝 기반 화질 개선 기법을 적용하여 3D Gaussian Splatting 렌더링 결과를 비교하였다. 화질 개선 처리 후의 결과에서 인물과 배경의 디테일이 뚜렷하게 향상되었으며, 블러 및 압축으로 인한 저품질 환경에서도 원본에 근접한 렌더링 품질을 달성하였다. 이를 통해 본 연구의 제안 방식이 열악한 카메라 환경에서도 효과적으로 적용될 수 있음을 실험적으로 입증하였다.
그림 5. 모바일 카메라 영상의 화질 개선 전후 3D Gaussian Splatting 렌더링 결과 비교
결론적으로, 본 연구는 제한된 저해상도 CCTV 영상만으로도 고품질의 실내 디지털 트윈을 구축할 수 있음을 입증하였다. 특히, SK Telecom과의 협력을 통해 개발한 화질 개선 기술과 객체 중심의 크롭 전략이 3D-GS 렌더링 품질을 효과적으로 향상시키는 것으로 확인되었다. 본 연구의 성과는 향후 스마트 홈, 공간 모니터링, 재난 대응 시스템 등 다양한 분야에 폭넓게 기여할 것으로 기대된다.
