KAIST 전산학부 김민혁 교수에 의해 운영되고 있는 KAIST 비주얼컴퓨팅연구실(Visual Computing Laboratory, VCLAB)은 컴퓨터 그래픽스와 컴퓨터 비젼을 연구하는 연구실이다. KAIST VCLAB에서는 초고화질의 영상 정보를 재현하기 위해 필수적인 첨단 계산 영상학 기술 및 3차원 영상처리 기술에 대한 다양한 연구를 다양하게 해오고 있으며, 특히 계산 영상학(computational imaging)분야에 있어서 국제적으로 수월성을 인정받고 있다.

KAIST VCLAB의 세부적인 연구분야는 초분광 영상기술(hyperspectral imaging), 3차원 영상처리 기술(3D imaging), 3차원 그래픽스를 위한 각종 반사도획득 기술(3D/4D face scanning and BRDF acquisition), 파동광학 기반 컴퓨터 그래픽스, 색과 시각인지(color and computational vision) 등의 다양한 영상처리 관한 연구를 포함한다. 또한 KAIST VCLAB에서는 광학/전기/전자 하드웨어의 설계 및 머신러닝/인공지능을 이용한 다차원 영상처리를 포함하여 비주얼 컴퓨팅 영역을 꾸준히 확장해 오고 있다.

2024년 현재, 세계 최고의 컴퓨터 그래픽스 학회인 SIGGRAPH 및 SIGGRAPH Asia학회에 총 22편의 논문과 세계 최고의 컴퓨터 비전 학회인 CVPR/ICCV/ECCV에 총 22편의 발표해오고 있다. 다음은 주요 연구 분야에 대해서 몇 가지 소개한다. 

1. 초분광 이미징

초분광 이미징은 장면의 스펙트럼 정보와 공간 정보를 동시에 포착할 수 있는 기술로, 과학, 산업, 문화유산 보존 등 다양한 분야에서 큰 잠재력을 가지고 있다. 그러나 기존 초분광 이미징 기술은 고비용, 대형 장비, 복잡한 광학 구성 요소, 긴 데이터 획득 시간 등 여러 실용적 한계를 가지고 있었다. 기존 시스템은 주로 프리즘, 코드화된 조리개, 렌즈 배열 등을 사용하여 복잡한 구조를 요구했고, 이로 인해 장비의 크기와 비용이 증가하며, 데이터 복원 과정에서도 스펙트럼 정확성과 공간 해상도 간의 균형을 유지하기 어려웠다. 특히, 동적 장면에서 초분광 비디오를 고해상도로 획득하거나 3D 객체의 정확한 초분광 데이터를 측정하는 것은 기존 기술로는 매우 어려운 과제였다.

KAIST 비주얼 컴퓨팅 연구실은 이러한 문제를 해결하기 위해 초분광 이미징의 새로운 접근법을 제시해오고 있다. 연구팀은 단일 이미지에서 스펙트럼과 심도 정보를 동시에 복원할 수 있는 회절 광학 소자(DOE)를 활용한 단일 촬영 초분광 3D 이미징 기술을 개발했다. 이 기술은 DOE의 파장 및 심도 의존적 특성을 활용하며, 딥러닝 기반 복원 알고리즘을 통해 데이터를 효과적으로 재구성한다. 또한, 기존 복잡한 광학 부품을 단일 회절 광학 소자로 대체한 초소형 초분광 이미징 기술은 일반 DSLR 카메라와 같은 기본 이미지 센서로 구현할 수 있어, 장비의 크기와 비용을 획기적으로 줄였다. 이러한 소형화된 시스템은 스펙트럼 정확성과 공간 해상도에서 기존 기술을 능가하는 성능을 보여준다.

이와 함께, 연구팀은 딥러닝을 기반으로 한 새로운 복원 기술을 도입해 초분광 데이터의 스펙트럼 및 공간적 충실도를 크게 향상시켰다. 기존의 수작업 기반 정규화 방식 대신 데이터 중심의 정규화를 활용함으로써, 계산 복잡성을 줄이면서도 높은 정확도를 유지하는 데 성공했다. 나아가 동적 장면의 초분광 비디오를 포착할 수 있는 압축 영상 분광 기술과 3D 객체에서 초분광 패턴을 측정할 수 있는 시스템을 개발했다. 이 기술은 새의 시각 및 외형 연구, 지질학, 문화유산 보존 연구 등 다양한 분야에서 응용 가능성을 보여준다. 특히, 이 시스템은 고해상도 초분광 데이터 세트를 구축하는 데 중요한 역할을 하며, 기존 기술보다 더 정밀하고 다양한 스펙트럼 정보를 제공한다.

Figure 1. KAIST VCLAB에서 개발한 초소형 초분광 영상 기술의 예 (ACM SIGGRAPH 2019 발표)

2. 편광 이미징

편광 이미징은 빛의 반사, 산란, 및 편광 상태를 활용해 물체의 형상, 구조, 그리고 재질 특성을 정확히 추출하는 기술로, 컴퓨터 그래픽스와 비전 분야에서 점차 중요성이 커지고 있다. 그러나 이 기술은 여러 도전 과제에 직면해 있다. 예를 들어, 동적이고 복잡한 물체, 특히 인간 얼굴과 같은 사례에서 공간적으로 변하는 반사 특성과 내부 생물물리학적 요소를 포착하는 데 어려움이 있으며, 이를 정확히 모델링하기 위한 기술이 필요하다. 또한, 편광 빛의 상호작용을 시뮬레이션하는 편광 렌더링은 높은 계산 비용과 연산 효율성 문제를 동반하며, 회전 불변성과 연속성을 유지하면서 정확도를 확보하기 위한 새로운 방법론이 요구된다. 기존 편광 이미징 장치의 크기와 무게, 그리고 데이터 획득에 걸리는 긴 시간은 실용적인 활용을 제한하며, 다양한 방향과 스펙트럼 조건에서 데이터를 수집하는 작업도 상당히 비효율적이다. 게다가, 현재의 편광 BRDF 데이터베이스는 편광 상태에 대한 상세한 정보를 충분히 제공하지 못해 물리 기반 렌더링 및 편광 간섭 모델링에서 활용도가 낮다.

이러한 문제를 해결하기 위해 KAIST 비주얼 컴퓨팅 연구실은 편광 이미징 기술에서 다양한 혁신을 이루고 있다. 동적 인간 얼굴에서 편광 및 스펙트럼 반사 정보를 동시에 획득하는 기술은 피부층 내부와 외부의 헤모글로빈, 유멜라닌과 같은 생물물리학적 요소를 정밀히 정량화할 수 있게 해준다. 동시에, 스핀 가중 구면 고조파 이론을 기반으로 편광 상태를 효율적으로 계산하는 주파수 도메인 기반 렌더링 기술은 회전 불변성과 연속성을 유지하면서 실시간 편광 렌더링을 가능하게 한다. 연구실은 또한 휴대용 편광 측정 장치를 개발하여, 짧은 시간 안에 편광 SVBRDF와 3D 형상을 동시에 획득할 수 있는 기술적 진보를 이뤘으며, 이를 통해 기존의 복잡한 장비와 긴 획득 시간을 극복했다. 더 나아가, 다양한 각도와 스펙트럼 조건에서 실제 물질의 편광 BRDF 데이터를 수집하여 고품질 데이터셋을 구축하고, 이를 기반으로 물리 기반 렌더링과 편광 상호작용 연구를 지원하고 있다.

Figure 2.  KAIST VCLAB에서 개발한 초소형 초분광 영상 기술의 예 (ACM SIGGRAPH 2022 발표)

3. 첨단3차원 영상 기술

첨단 3차원 영상 기술은 장면의 깊이와 색상 정보를 정밀하게 캡처하여 자율 주행, 로봇 공학, 가상현실(VR), 증강현실(AR) 등 다양한 분야에서 필수적인 역할을 한다. 그러나 기존의 기술은 좁은 기준선과 깊이 범위로 인한 불확실성, 산란 매체 내에서 발생하는 다중 경로 간섭(MPI), 실시간 처리의 어려움, RGB-D 센서 간 기하학적 불일치, 그리고 텍스처 품질의 제한 등 여러 도전에 직면해 있었다. KAIST 비주얼 컴퓨팅 연구실은 이러한 문제를 해결하기 위해 새로운 알고리즘과 데이터 처리 기술을 개발하며 3차원 영상 기술의 한계를 극복했다.

연구팀은 전방위 부호화 거리 함수와 구형 이진옥트리를 활용하여 좁은 기준선 문제를 해결하고 메모리 효율성과 데이터 품질 간의 최적 균형을 이루는 기술을 개발했다. 또한, 편광 기반 iToF 기술은 산란 매체에서의 다중 경로 간섭 문제를 해결하여, 기존 기술 대비 훨씬 높은 깊이 정확도를 달성했다. 실시간 처리 기술에서도 중요한 진전이 이루어졌다. 법선 벡터 측정과 볼류메트릭 융합을 결합한 NormalFusion 기술은 고해상도 표면 데이터를 실시간으로 복원하며, RGB-D 데이터 융합을 위한 FloatingFusion 기술은 자동 보정과 심층 학습 기반 융합을 통해 센서 간 기하학적 불일치를 해결했다.

이와 함께, Sphere Sweeping Stereo 기술은 어안 렌즈를 활용해 360° RGB-D 동영상을 실시간으로 생성하며, TextureFusion은 텍스처 타일 보간과 실시간 워핑 기술로 고품질 텍스처 데이터를 복원했다. 단일 촬영 RGB-D 이미징 기술은 이중 굴절 효과를 활용하여 색상과 깊이 정보를 한 번에 캡처할 수 있도록 설계되었으며, 로봇 공학과 AR/VR 응용 분야에서 실시간 사용이 가능하다. 이 모든 기술은 기존 방법들과 비교해 정확도와 효율성을 크게 개선했다.

Figure 3.  KAIST VCLAB에서 개발한 첨단 3차원 영상 기술의 예 (CVPR2020 발표)