ControlNet을 활용한 재구축 기반 이상 영역 탐지

Reconstruction Based Anomaly Region Detection Using ControlNet

이상 탐지는 정상 패턴과는 다른, 이상 패턴을 가진 객체를 찾는 것으로, 정상과 이상을 구분하는 일종의 분류 문제이다. 이상탐지 모델의 학습에 사용되는 데이터셋은, 데이터 불균형 문제가 심각하여 이상 데이터를 정상적으로 판별하지 못하는 경우가 많았고, 이미지를 재구축하여 원본 이미지와 비교하는 재구축 기반 이상 탐지 방법론들이 제시되었다. 하지만, 해당 방법론들은 많은 시간과 비용이 필요하다.

그림 1. 본 연구에서 제안하는 이상 탐지 모델의 구조

그림 2는 본 연구에서 제안하는 ControlNet 학습 방법이다. 학습을 위한 이상 이미지는, 정상 이미지에 noise를 합성하여 제작한다. 기존의 ControlNet 학습에선 원본 이미지를 0 ~ 1로, 목표 이미지를 -1 ~ 1로 정규화하여 학습을 진행하지만, 기존 학습 방법의 원본 이미지에는 일반적인 RGB 이미지가 아닌, canny나 HED 경계선과 같은 테두리, Human Pose, Semantic Segmentation, 깊이 맵 등이 사용된다. 학습에 일반적인 RGB 이미지를 사용하는 것은, 기존 ControlNet의 학습 방법과는 다르기 때문에, 학습에 오류가 발생했고, 이에 목표 이미지를 원본 이미지와 같은 0 ~ 1로 정규화한다.

그림 2. 본 연구에서 제안하는 ControlNet 학습 방법

그림 3은 본 연구에서 제안하는 ControlNet 학습 방법을 통해 도출한 재구축 이미지다. ControlNet을 50 epoch 학습한 결과이고, 학습엔 약 90분이 소요된다. 기존의 ControlNet과 같이 목표 이미지를 -1 ~ 1로 정규화하는 경우, 첫 번째 재구축 이미지보다 더 어둡고, 특징이 모호한 재구축 이미지를 도출하여 정상적인 학습이 불가능하다. 하지만 새로운 학습 방법을 도입한 결과, 학습 횟수가 적어도, 74% 정도의 이상 영역을 탐지할 수 있다. Epoch가 증가함에 따라, 이상 탐지 성능 또한 개선된다.

그림 3. 본 연구에서 제안하는 ControlNet 학습 방법을 통해 도출한 재구축 이미지

이상 탐지는 생산 라인의 이상 제품을 판별하는 것이다. 이 문제를 해결하기 위해 여러 생성형 인공지능을 활용한 재구축 기반 이상 탐지 방법론들이 제시되었지만, 학습에 오랜 시간 및 비용이 필요했다. 이에, 학습에 필요한 매개변수가 적어 학습이 빠른 ControlNet을 이상 탐지에 활용하는 방법을 제안했다. 기존의 ControlNet 학습 방법으론 정상적인 재구축 이미지를 만들 수 없기 때문에, 목표 이미지의 정규화 정도를 달리하여 학습을 진행했다. 기존의 방법론들과는 달리, ControlNet을 활용한 모델은, 적은 epoch로도 준수한 성능을 보였다. 이를 통해, 더 빠른 도메인 적용의 가능성을 확인했다.