백수정 교수는 2018년 울산과학기술원(UNIST) 제어설계공학과에서 박사학위를 취득하고, 같은 해 9월 국립한밭대학교 산업경영공학과에 부임하여 제조 인공지능 연구실(Manufacturing Intelligence Lab, MAI Lab)을 운영하고 있다. MAI Lab에서는 주로 스마트팩토리 및 자율제조 환경에서 발생하는 다양한 제조 데이터를 수집·분석하여, 설비와 제품의 상태를 실시간으로 정상 또는 고장(불량)으로 판별할 수 있는 모델을 개발하는 연구를 수행하고 있다.

그림 1. MAI Lab 연구 개요

1. 건전 상태 데이터 기반 고장 감지, 예측 및 진단을 통한 설비 예지보전

이 연구 주제는 스마트팩토리 내 설비 및 공정을 대상으로 아날로그 센서 신호, CCTV 이미지 데이터 등 다양한 데이터를 실시간으로 수집하고, 기계학습·패턴 마이닝·인공지능 등의 기법으로 분석하여 설비 및 공정의 건전 상태나 고장 발생 여부를 판단하고 유지보수와 필요한 유의미한 정보를 제공하는 것을 목표로 한다.

<3D 프린터의 고장 감지 및 예측>

대부분의 3D 프린터들은 제품 생산 과정에서 설비의 고장이 발생해도 이를 통합적으로 감지·예측하는 체계가 갖춰져 있지 않다. 그러나 설비 고장이 발생하면 불량품 생산, 재료 낭비, 생산 중단으로 이어져 큰 경제적 손실을 초래할 수 있다. 이를 해결하기 위하여 3D 프린터를 대상으로 고장 감지 및 예측 연구를 수행하고 있다. 프린터 주요 부위에 온도, 3축 가속도, 3축 각속도, 3축 자기장, 미세먼지, 전류 등을 관찰할 수 있는 센서를 부착해 다변량 아날로그 신호를 수집하고, 비지도 학습 기반 LSTM(Long short-term memory) 계열의 딥러닝 모델을 구축하여 분석하였다. 그 결과, Z축 모터 및 온도 제어 모듈의 고장을 적시에 감지하였다. 나아가, 3D 프린터의 건전 상태를 정상·열화·고장 상태로 구분한 뒤, ROC 커브 기반 임계치를 설정함으로써 고장 발생 후 감지는 물론, 고장 발생 전 단계에서 예측까지 가능하게 하였다.

그림 2. 3D 프린터의 고장 감지 및 예측을 위한 프레임워크

<자동화 순차 공정 시스템의 고장 감지 및 진단>

대부분의 자동화 생산 공정 시스템은 공압 실린더, 전기 모터 등 다양한 액츄에이터로 구성된다. 공정 단위에서 통합된 고장 감지를 효과적으로 수행하려면 각 액츄에이터마다 적절한 아날로그 센서를 설치해야 하지만, 어떤 종류 센서를 어디에 설치할 지 등은 중요한 과제이자 별도의 선행 연구가 필요하다. 이를 효과적으로 해결하기 위하여 본 연구실에서는 다양한 데이터를 바탕으로 자동화 생산 공정 시스템의 고장 감지 및 진단을 수행하였다. 먼저, 공정 자동화 제어를 위해 이미 사용되고 있는 디지털 제어 신호(Digital I/O 값)를 산업용 제어기를 통해 수집하고, k-means 클러스터링 및 프로세스 마이닝 기법을 적용하여 공정의 상태를 정상과 고장으로 분류하였다. 그러나 디지털 제어 신호 기반 고장 감지 역시 센서 정보의 풍부함에 영향을 받아, 고장 감지 시점이 다소 지연되는 한계가 있었다. 이에 본 연구에서는 디지털 제어 신호 없이, 공정을 감시하는 CCTV로 촬영된 이미지만을 활용한 Convolutional LSTM 기반의 다음 프레임 예측과 동적 Dynamic thresholding 기법으로 고장 발생 시점을 정확히 탐지하는 방법을 고안하였다. 더 나아가, 감지된 고장에 대해 유의미한 진단 결과를 제공하고자, Convolutional LSTM을 통한 다음 시퀀스 이미지 예측 후 Frame differencing, Convolutional neural network(CNN)을 결합한 고장 감지 기법으로 고도화했으며, Grad-CAM과 YOLO를 적용하여 고장 위치와 특성을 시각적으로 분석하는 진단 연구로 확장하고 있다.

그림 3. 자동화 순차 공정 시스템에서의 고장 감지 및 원인 분석 연구 결과 (빨간색으로 표기된 부분이 고장의 원인으로 추정)

2. 생산 시스템 효율 증진을 위한 비파괴 기반 실시간 제품 품질 검사

본 연구 주제에서는 생산 과정에서 수집된 제품의 품질 관련 데이터를 실시간으로 수집하고, 통계적 품질 관리도, 기계학습, 인공지능 모델을 통해 현재 생산된 제품의 품질을 정량적으로 측정하였다. 이를 통해, 생산된 제품이 정상품인지 불량품인지 신속하고 정확하게 판별하는 것을 목표로 한다.

<종이 상자의 파지 품질 검사 시스템 개발>

진공 그리퍼(Vacuum gripper)는 제조 현장에서 제품이나 부품을 파손없이 파지하기 위해 많이 사용되고 있다. 그러나 파지 대상 제품의 품질이 충분히 좋을지라도 미세한 굴곡이 있을 경우 그리퍼의 패드에 제품의 접촉 표면이 충분히 밀착되지 않아 파지 실패가 발생할 수 있다. 이를 해결하기 위하여 본 연구실의 초기 연구에서는 그리퍼에 가해지는 압력을 점증적으로 증가시키는 피드백 제어(Closed-loop feedback control)를 수행하였으나, 압력 증가에 따라 제품 파손 위험도 함께 증가하는 문제가 있었다. 이를 해결하기 위하여 딥러닝 기반 제품의 ‘파지 품질’ 검사 시스템을 개발하였다. 제품의 굴곡을 레이저 또는 초음파센서를 통해 제품의 상대편차를 측정하고, 동시에 카메라로 2D 표면 사진을 촬영하였다. 두 이종 데이터를 각각 분석하는 CAE(Convolutional Autoencoder) 모델과 CNN 모델을 구축한 후, 두 모델을 결합하는 앙상블 기법을 적용하여 제품의 파지 품질을 최종적으로 판단하는 모델을 개발하였다. 이후 제안하는 과정을 자동화하여 검사할 수 있는 하드웨어 시스템을 구축하였다.

그림 4. 상자의 파지품질을 측정하기 위해 개발된 시스템

<볼펜 조립 공정 품질 검사 시스템>

품질 검사는 수행 시점에 따라 수입 검사, 공정 검사, 최종 검사, 출하 검사, 자주 검사 등으로 구분된다. 완성품 단계에서만 검사하여도 소비자에게 불량품이 제공될 확률은 충분히 낮아지지만, 생산 시스템 내에서는 불량품이 조기에 걸러지지 않아 자원 낭비가 발생할 수 있다. 이를 개선하기 위해 공정 중간 단계에서 딥러닝 기반 이미지 검사를 적용하여 불량을 조기에 감지하는 시스템을 설계하였다. 펜 대와 펜 헤드 조립 시 발생하는 단차 불량과 스크래치 불량에 대한 이미지 데이터를 수집하였고, CNN으로 단차 검사를, 객체 탐지 모델(RF-DETR)로 스크래치 검사를 수행하였다. 그 결과, 생산 시스템 내에서 최종 검사에서나 단일 지점에서만 검사하는 기존 방식과 달리, 두 지점 이상의 위치에서 단계별 다중 검사를 수행함으로써 불량 유발 공정을 역추적할 수 있는 가능성(Traceability)도 확인하였다.

그림 5. 볼펜 조립 공정의 제품 품질 검사 프레임워크

이 외에도 ‘제조 데이터 분석’ 관점에서, 실험계획법 기반의 3D 프린터의 출력물 품질에 영향을 주는 최적 출력 제어 변수를 탐색, 로봇 카페의 효율적 재고 관리를 위한 원두 사용량 예측 등의 다양한 연구를 수행하고 있다. 예를 들어, 무인 운영이 많고 재료의 유통기한이 정해진 로봇 카페의 특성상, 원두 주문 시점과 주문량을 적절히 결정하는 것은 매우 중요하다. 이를 위해 현재 날씨 등과 같은 환경 데이터와 로봇 카페의 과거 주문 데이터를 반영한 LSTM 모델을 구축하여 가까운 미래의 원두 사용량을 예측하였다. 또한 예측된 원두 사용량을 기반으로 한 효율적인 재고 관리 전략을 제안하였다. 최근에는 딥러닝을 활용한 물류 시스템 내 제품 위치 추적 모듈의 정밀도 향상을 위한 연구를 수행하고 있다. 기존 Active-RFID 기반 삼각측량 방식은 시스템 구축 환경의 영향을 크게 받아 오차가 발생하는 한계가 있었으나, 본 연구실은 구축 환경과 설정에 강건한 딥러닝 기반 위치 추정 시스템을 개발하였다. 아울러 실제 산업현장에서 설비 고장 데이터를 수집하기 어렵다는 점을 고려해 산업현장을 간단한 소형 물리 모형으로 제작하였다. 이로부터 수집한 데이터를 기반으로 전이학습(Transfer learning)을 적용해 실제 산업용 설비의 고장 감지 연구를 수행 중에 있다.

그림 6. 딥러닝을 활용한 RFID 기반 제품 위치 추정 시스템의 성능 개선 연구 수행 과정

그림 7. 회전체 모형을 이용한 실제 산업용 기계의 고장 감지 연구 수행 과정