충남대학교 컴퓨터융합학부 Visual Computing Lab을 운영하고 있는 김형기입니다. 저는 2015년 KAIST 기계공학과에서 박사학위를 취득하였고, 한국기계연구원에서 박사후 연구원으로, 국방과학 연구소에서 선임연구원으로 근무했습니다. 2018년부터 2024년까지 전북대학교 컴퓨터인공지능학부에서 근무하였고, 2024년 9월에 충남대학교 컴퓨터융합학부로 부임하여 컴퓨터 그래픽스 및 혼합현실 기술을 연구 중입니다.

우리 연구실에서는 3차원 형상 데이터의 처리/인식 기술을 주로 연구하고 있습니다. 3차원 형상 데이터는 전통적으로 컴퓨터 그래픽스 응용을 위한 필수적인 리소스이기도 하지만, 미래 컴퓨팅 환경으로 주목받고 있는 혼합현실 분야, 그리고 자율주행 및 로봇 지능 분야에서 공간 맥락 정보를 제공하기 위한 주요 데이터로써 활용되고 있습니다. 이 글을 통해 우리 연구실의 주요 연구 분야들을 소개드리려 합니다.

1. 3차원 형상 데이터 인식 기술

점군(Point Cloud)은 3차원 형상 표현 방식 중 하나로, 연결 정보가 존재하지 않는 순서 없는 점 좌표들의 집합입니다. 이러한 단순한 데이터 구조의 특징으로 인해 3D 스캐닝 정보를 데이터화하는 기본 형식으로 활용되며, 이러한 데이터로부터 효율적으로 정보를 취득하기 위해 다양한 점군 인식 기술이 연구되어 왔습니다. 초기에는 기하적인 특징을 활용해 점군을 입력으로 유사 CAD 모델을 검색하는 기계학습 기반 기법을 주로 연구하였습니다. 최근에는 딥러닝 기술의 발전에 따라서 인식 성능이 매우 높아져, 이러한 기술을 활용해 실제 현장에서 취득한 스캐닝 데이터를 자동으로 분할하고, 인식하여 3D 재구축을 자동화하는 연구를 수행하였습니다.

<딥러닝 기반의 CAD 모델 검색 기술[1]>

3D 스캐닝을 통해 취득되는 점군의 경우 LOS(Line-of-sight)로 인한 가림이나, 스캐닝 거리에 따라 발생하는 저밀도 점군으로 인해 인식 성능의 저하가 발생할 수 있습니다. 최근에는 이러한 성능 저하를 극복할 수 있는 딥러닝 기술을 주로 연구하고 있습니다. 첫 번째 카테고리는 점군 업샘플링 기술로, 인공신경망이 저밀도 점군을 통해 전체적인 형상을 스스로 추론하고, 이렇게 추론된 형상을 바탕으로 고밀도의 점군을 생성해내는 기술입니다. 고밀도의 점군은 보다 풍부한 정보를 포함하고 있기 때문에 점군의 탐지, 분할, 그리고 3D 메쉬 구조로 재구축하는 데에도 보다 높은 성능을 도출할 수 있습니다.

<점군 인식 성능 향상을 위한 업샘플링 기술[2]>

두 번째 카테고리는 최신 AI 기술을 적용하여 점군의 표현력을 높이는 연구입니다. 점군 데이터는 일반적으로 이미지 데이터와 비교해 데이터 수량이 적으며, 라벨링된 데이터의 생성에 높은 비용이 소모됩니다. 이미지 인식 분야에서는 대조학습과 같은 비지도학습을 통한 표현 학습을 통해 성능 성능 향상을 도모하고 있으며 우리 연구실에서는 이러한 기법을 점군 데이터 인식에 적용하는 방안을 연구하고 있습니다. 점군과 점군을 렌더링한 이미지를 멀티모달 대조 학습을 통해 표현력을 향상할 수 있음을 보였습니다.

<대조학습을 활용한 점군 표현 성능 향상 기술[3]>

2. 혼합현실 기술 연구

혼합현실은 가상현실과 증강현실을 포함하는 개념으로, 현실 공간에 가상 정보를 융합하여 제공하는 새로운 컴퓨팅 환경으로 주목받고 있습니다. 특히 스마트 글라스와 같은 소형화된 기기를 통해 제공되는 혼합현실 환경이 스마트폰을 대체할 수 있는 컴퓨팅 장치가 될 것이라고 예측되면서 많은 주목을 받고 있습니다. 

우리 연구실에서는 혼합현실 관련 기술 중, 산업 분야에서 높은 활용도를 보일 것으로 기대되는 원격 협업 가상 환경 관련한 기술을 주로 연구하고 있습니다. 원격 협업 환경은 물리적으로 떨어져 있는 사용자들이 의사소통할 수 있는 환경으로 전화, 메신저, 줌과 같은 매개체를 포함하는 넓은 개념입니다. 협업 가상 환경은 가상 환경을 기반으로 이러한 의사소통을 수행 가능한 환경으로 3D 데이터를 기반으로 물리적인 한계를 극복할 수 있는 장점이 있습니다. 기존의 협업 가상 환경에서는 양쪽 사용자가 동일한 컴퓨팅 환경(VR & VR, AR & AR)을 가정하고 연구가 수행되었으나 보다 넓은 응용 범위를 위해 비대칭 환경에서의 협업에서 효율적인 의사소통 기술을 연구하고 있습니다.

<비대칭 협업 환경에서의 3차원 객체 상호작용 기술[4]>



또한 이러한 기술을 기반으로 철도 차량의 유지보수를 위한 혼합현실 기반 시스템에 대한 연구를 수행하였습니다. 복잡한 정비 관련 정보와 체크사항 등을 현장에서 Hololens 장치를 통해 즉각적으로 확인하고, 3D화된 점검 매뉴얼을 제공하여 정비 효율성을 향상시킬 수 있음을 보였습니다.

 

<철도차량 유지보수를 위한 MR 기반 지원 시스템>

3. P&ID 도면 인식 연구

P&ID는 Piping and Instrumentation Diagram의 약자로써 공정 플랜트의 설비, 배관, 제어 시스템간의 관계를 상세하게 나타낸 도면입니다. 이미지 포맷의 도면으로부터 고수준 정보를 손쉽게 추출하고 활용할 수 있도록 인공지능 기술을 활용하여 자동 인식하는 기술 또한 연구하고 있습니다. 초기에는 기존의 딥러닝 기술 중, 도면 내 심볼 및 텍스트 인식에 적합한 기법을 실험적으로 확인하고 학습 및 예측 프레임워크를 설계하는 연구를 진행하였습니다.

<P&ID 심볼, 텍스트 인식을 위한 딥러닝 기술[5]>

연구를 수행하면서 기존 딥러닝 모델이 잘 수행할 수 있는 Task와 현장에서의 P&ID 인식 기술에 요구되는 성능간 불일치를 발견할 수 있었습니다. 이를 개선하기 위해 최근에는 기존 인공신경망 구조를 적극적으로 개선하여 P&ID 인식에 특화된 구조를 설계하는 연구를 진행 중입니다. 예를 들어, 심볼을 인식하는 객체 인식 구조와 텍스트 문자를 인식하는 문자 인식 구조를 통합하여 보다 적은 연산으로 높은 성능을 낼 수 있음을 확인할 수 있었습니다.

<효율적인 P&ID 심볼, 텍스트 인식을 위한 모델 통합 기술[6]>

마치며

이 외에도 딥러닝 기반 P&ID 도면 자동 인식 기술 연구, 미분가능한 렌더러를 활용한 3D Mesh 모델 간략화 연구 등 최신 기술을 활용한 2D/3D 데이터를 다루는 기술들을 주로 연구하였습니다. 최근에는 LLM을 활용하여 3D 모델을 설명하는 언어 모델 개발, 언어 기반으로 제어 가능한 CAD 생성 모델 개발 등, 언어 모델을 기반으로 한 인공지능 기술 개발에 연구 역량을 집중하고 있습니다.

<3차원 점군 비교 기능을 갖춘 LLM 구조 설계>

저희 Visual Computing Lab은 3차원 데이터 인식, 인공지능, 그리고 혼합현실 기술을 융합하여 디지털 정보와 물리적 현실의 경계를 허무는 것을 목표로 합니다. CDE학회를 통해 관련 연구 결과를 꾸준히 공유하고, 다양한 연구자 분들과 함께 소통해 나가고 싶습니다. 감사합니다.

Reference

[1] Kim, H., Yeo, C., Lee, I. D., & Mun, D. (2020). Deep-learning-based retrieval of piping component catalogs for plant 3D CAD model reconstruction. Computers in Industry, 123, 103320.

[2] Hur, J. H., Kwon, S., & Kim, H. (2025). Denoise yourself: Self-supervised point cloud upsampling with pretrained denoising. Expert Systems with Applications, 126638.

[3] Lee, W., & Kim, H. (2024). Multimodal contrastive learning using point clouds and their rendered images. Multimedia Tools and Applications, 83(32), 78577-78592.

[4] Tserenchimed, T., & Kim, H. (2024). sharing method with reduced motion sickness in object-based VR/AR collaborative virtual environment. Virtual Reality, 28(3), 122.

[5] Kim, B. C., Kim, H., Moon, Y., Lee, G., & Mun, D. (2022). End-to-end digitization of image format piping and instrumentation diagrams at an industrially applicable level. Journal of Computational Design and Engineering, 9(4), 1298-1326.

[6] Byun, J., Kang, B., Mun, D., Lee, G., & Kim, H. Optimizing Image Format Piping and Instrumentation Diagram Recognition: Integrating Symbol and Text Recognition with a Single Backbone Architecture. Journal of Computational Design and Engineering, qwaf053.