들어가며: 자율제조는 제조 현장의 새로운 설계 문제다

제조업의 디지털 전환은 오랫동안 자동화, 사물인터넷 그리고 스마트팩토리라는 이름으로 진행되어 왔다. 그러나 최근 현장이 마주한 문제는 이전보다 복합적이다. 숙련 인력은 줄어들고, 제품 수명 주기는 짧아지며, 공급망과 생산 조건은 더 자주 흔들린다. 바이오, 반도체, 정밀기계와 같은 산업에서는 작은 공정 편차가 품질, 수율, 안전, 납기에 직접적인 영향을 준다. 이제 제조 경쟁력은 단순히 설비를 더 많이 연결하거나 자동화하는 데서만 나오지 않는다. 현장 상황의 변화를 빠르고 정확하게 대응하기 위한 능동적인 디지털트윈을 구현하고, 의사결정에 빠르게 반영하는가가 핵심 과제가 되고 있다.

이 지점에서 자율제조를 위한 디지털트윈 구현은 전통적으로 다뤄 온 3D 모델링, 시뮬레이션, 최적화, 제품 데이터 교환을 기반으로 하는 CAD/CAM/CAE를 넘어서, 그 대상을 스스로 구축할 수 있는 자가진화형 접근이 필요하다. 특히 최근 휴머노이드를 비롯한 다관절 로봇과 자율주행로봇이 널리 활용되면서 수작업으로 진행되는 3D모델링으로는 자율제조가 요구하는 디지털트윈의 구현이 어려워지고 있다. 한편 3D스캐닝과 생성형 AI만으로는 제조에서 필요한 수준의 정교한 디지털트윈의 구현이 어렵다. 자가진화형 디지털트윈 시스템은 이러한 문제의식에서 출발한다. 목표는 제조 시스템의 자가진화형 디지털트윈 플랫폼을 개발하고 실제 산업 현장에서 검증하는 것이다. 여기서 중요한 점은 완전 무인 공장을 한 번에 구현하겠다는 선언이 아니다. 오히려 현장이 신뢰할 수 있는 방식으로 Dataset, HMI, Automation 측면에서 디지털트윈을 단계적으로 성숙시키는 접근이다. 

스마트팩토리에서 자율제조로

스마트팩토리는 제조 현장의 디지털화를 설명하는 대표적인 개념이었다. Man, Machine, Material을 연결하고, 전 주기 데이터를 수집하며, 실시간 모니터링과 대응력을 높이는 것이 핵심이었다. 설비 데이터 자동 수집, MES/ERP 연계, 공정 상태 모니터링, CPS 기반 협업은 여전히 중요한 기반 기술이다. 그러나 스마트팩토리가 주로 "연결과 대응"의 체계였다면, 자율제조는 그 위에서 "학습과 적응"을 목표로 한다.

자율제조에서 AI는 단순히 데이터를 분석하는 도구에 머물지 않는다. 제품·공정·설비·품질 데이터를 함께 이해하고, 사람의 의사결정을 보조하며, 로봇이나 장비의 실행으로 이어지는 폐루프를 구성해야 한다. 또한 새로운 제품, 새로운 작업 조건, 예상하지 못한 예외 상황에 대해서도 일정 수준의 적응성을 보여야 한다. 따라서 자율제조는 특정 AI 모델 하나의 성능 문제가 아니라, 데이터 구조, 표준, 시뮬레이션, 디지털트윈, HMI, 운영 절차가 함께 설계되어야 하는 시스템 문제다.

이러한 자율제조를 5단계의 성숙 과정으로 바라본다. 1단계는 멀티모달 데이터의 동기화와 분산 관리, 딥러닝 기반 데이터 분석이다. 현장의 센서, 장비, 작업, 품질 데이터를 AI가 사용할 수 있는 형태로 모으고 정리하는 단계다. 2단계는 가상 센서, 실시간 연동, 시뮬레이션, 임베디드 AI를 통해 직접 측정되지 않는 상태를 예측하고 현장을 더 정밀하게 이해하는 단계다. 3단계는 인간 중심 HMI, 프라이버시 AI, AAS, STEP-NC, ISO 등 표준 기반 제조 시스템을 활용하여 작업자의 판단을 지원하고 휴먼에러를 줄이는 단계다. 4단계에서는 데이터셋 구축 과정 자체가 자동화되고, 기능별 모듈형 시스템과 멀티모달 AI 인터페이스를 통해 제품과 라인 변경에 유연하게 대응한다. 5단계는 멀티 에이전트 기반의 자동화, 자기 피드백 루프, zero-shot 또는 unseen task에 대한 빠른 적응을 목표로 한다. 즉 자율제조의 최종 모습은 사람을 배제한 공장이 아니라, 사람이 설정한 목표와 제약 안에서 AI와 물리 시스템이 계속 학습하고 개선하는 제조 환경에 가깝다.

그림 1. 스마트 팩토리와 자율제조의 5단계 수준의 비교

자가 진화형 디지털트윈의 역할

디지털트윈은 이미 제조 분야에서 중요한 주제로 자리 잡았다. 기존의 디지털트윈이 물리 시스템을 가상공간에 복제하고, 시뮬레이션과 모니터링을 통해 상태를 파악하는 데 초점을 두었다면, 자가진화형 디지털트윈은 한 걸음 더 나아간다. 현장에서 발생하는 데이터를 지속적으로 받아들이고, 모델을 갱신하며, AI 에이전트와 연결되어 다음 의사결정과 실행을 지원하는 방향이다.

이를 위해서는 다양한 데이터가 하나의 흐름으로 이어져야 한다. 3D 모델, 공정 정보, 설비 상태, 품질 측정값, 작업 비디오, 매뉴얼, 알람 기록, 점검 이력은 서로 다른 시스템에서 생성된다. 데이터가 많다는 사실만으로 AI가 좋은 판단을 내릴 수는 없다. 어떤 데이터가 품질과 직접 연결되는지, 어떤 시점의 데이터가 신뢰 가능한지, 결측과 이상값을 어떻게 처리할 것인지, 사람의 판단과 AI의 판단을 어디에서 결합할 것인지가 먼저 정리되어야 한다.

본 연구실에서 수행 중인 IITP 디지털 콜롬버스 과제인 ‘연구개발과제명: STEP BY STEP 자율형제조 : 데이터셋 구축부터 생성형 AI 활용까지’에서는 이 문제를 Dataset, Automation, HMI의 세 축으로 풀어간다. 연구내용 계획서에서 이 세 축은 단순한 기능 목록이 아니라 자율제조를 구현하기 위한 단계별 아키텍처로 제시된다. Dataset은 AI가 학습하고 현장을 이해하는 기반이고, Automation은 품질관리·스케줄링·제어·물리 실행으로 이어지는 실행 체계이며, HMI는 작업자가 AI를 이해하고 통제할 수 있게 하는 인간 중심 접점이다.

Dataset: 자율제조의 출발

Dataset 축의 핵심은 산업 현장의 부족하고 흩어진 데이터를 AI가 사용할 수 있는 구조로 자동 구축·관리하는 것이다. 이를 위해 IoT 센서, PLC, 설비 환경 센서, 제품 품질 계측 정보, 작업 비디오 애니메이션, 매뉴얼 기반 Q&A, 3D CAD 및 B-rep 그래프, 기계가공·조립 특징형상 데이터셋을 단계적으로 구축해야 한다. 또한 AAS 해석용 LLM 모듈, DPP 데이터 모델, ISO 기반 제품 수명 주기 평가, OPC-UA 기반 설비 파라미터 추출, OCR 기반 데이터 자동 추출, 게임엔진 기반 synthetic dataset, 데이터 신뢰성 평가 루프가 함께 필요하다. 이는 데이터셋을 단순 학습 자료가 아니라 제품, 설비, 공정, 작업자, 품질, 지속가능성 정보를 연결하는 디지털 스레드로 다루겠다는 의미다.

이 접근은 제조 AI의 실용성을 좌우한다. 제품 데이터 교환, 형상 표현, 공정 계획, 제조성 평가는 이제 AI가 이해할 수 있는 데이터 구조와 직접 연결된다. 예를 들어 B-rep 그래프 데이터셋은 3D CAD 형상을 GNN 기반 특징형상 인식과 제조성 평가로 연결하고, GD&T 데이터셋은 표준 문서와 CAD 도면, 생산 도면 생성을 LLM 기반 지식베이스로 이어준다. 자율제조의 데이터셋은 현장을 설명하는 파일 묶음이 아니라, AI와 디지털트윈이 스스로 갱신될 수 있게 하는 지식 기반이다.

Automation: 분석에서 물리 실행으로

Automation 축은 AI 분석 결과를 품질관리, 가상센서, 스케줄링, 로봇·설비 제어로 연결하는 실행 계층이다. 딥러닝 기반 품질관리, 품질 핵심 조절 요인의 최적값 예측, 샘플링 기반 품질 측정의 한계 보완, 딥러닝 기반 가상센서, Self-learning control, 실시간 스케줄 업데이트, 물리적 에이전트 간 통신 프로토콜, On-Device AI 센서, LLM 기반 스케줄링, 생성형 환경과 강화학습 환경의 연결, un-seen task 및 zero-shot 대응, 카메라·로봇·AMR이 통합된 테스트베드는 모두 Automation의 범위에 들어간다. 즉 자동화는 정해진 작업의 반복이 아니라, 환경 변화와 이상징후를 감지하고, 작업 순서와 물리 실행을 동적으로 조정하는 체계로 확장된다.

이 부분은 자율제조가 스마트팩토리와 갈라지는 지점이다. 스마트팩토리가 설비 상태를 연결하고 모니터링하는 데 강점을 가졌다면, 자율제조의 Automation은 그 데이터를 바탕으로 다음 행동을 결정하고 실행한다. 가상센서는 직접 측정하기 어려운 설비 내부 상태를 예측하고, LLM 기반 스케줄링은 작업 변경과 우선순위 변화를 반영하며, 물리 에이전트 간 통신은 로봇과 AMR, 카메라가 같은 작업 목표를 공유하게 한다.

그림 2. 스스로 고장을 학습하는 디지털트윈을 이용한 로봇 제어

HMI: 인간 중심 자율제조의 조건

HMI 축은 작업자가 AI와 설비를 이해하고 통제할 수 있도록 만드는 인간 중심 인터페이스다. 산업용 챗봇 프레임워크, 텍스트·음성 명령을 포함한 멀티모달 입력, Private 언어모델 선정, 웹·모바일 인터페이스, 음성 인식과 응답 출력, LLM 인터페이스, 설비 및 공장 상태 모니터링과의 실시간 연동, 다국어 지원, 사용자 맞춤형 Auto-prompting, RAG 기반 설비 매뉴얼 업데이트, 사용자 수준과 learning curve를 반영하는 적응형 챗봇, 비디오 분석 기반 작업자 행태 분석 VLM, 사용자 피드백 루프, 표준 기반 양방향 AR 서포트는 모두 HMI의 중요한 구성 요소다. 이는 HMI를 화면이나 조작 패널이 아니라 작업자와 AI 에이전트, 설비, 디지털트윈 사이의 협업 구조로 보는 관점이다.

제조 현장에서 AI의 결론은 그 자체로 충분하지 않다. 작업자는 왜 그런 판단이 나왔는지, 어떤 데이터와 매뉴얼에 근거했는지, 어떤 위험과 불확실성이 있는지 확인할 수 있어야 한다. HMI는 이 설명과 통제의 창구다. 특히 LLM/RAG 기반 인터페이스는 설비 매뉴얼, 점검 기록, 작업 지시서, 센서 상태를 자연어 질의응답으로 연결할 수 있다. 양방향 AR 서포트와 AI 기반 Co-pilot은 작업자가 물리 현장 안에서 디지털트윈과 상호작용하는 방식을 열어준다. 자율제조가 사람을 대체하는 기술이 아니라 사람의 판단을 확장하는 기술이 되려면 HMI가 중심에 있어야 한다.

그림 3. 장비의 메뉴얼을 활용한 대규모 모델 기반의 챗봇 개발

적용 예시: 바이오 자율실험실과 반도체 장비 유지보수

바이오 자율실험실은 자율제조가 바이오 공정과 실험실 운영으로 확장되는 예다. 배양과 정제 과정에서는 온도, pH, 용존산소, 교반 속도, 세포 대사산물, UV 흡광도, 전도도, 유량, 압력 등 다양한 변수가 품질에 영향을 준다. 따라서 자율실험실의 핵심은 로봇을 도입하는 데서 끝나지 않고, NGlycan, IgG, PIGG와 같은 품질 지표를 예측하고 다음 실험 설계를 지원하는 데이터·AI·실험 운영 체계를 만드는 데 있다.

반도체 장비 유지보수는 자율제조가 생산 공정뿐 아니라 설비 운영으로 확장되는 예다. 반도체 장비는 다운타임이 곧 생산 손실로 이어지기 때문에 센서 값, 알람, 운전 이력, 점검 기록, 매뉴얼, 장비 구성 정보를 연결해 엔지니어가 원인 후보와 점검 순서를 빠르게 판단하도록 돕는 것이 중요하다. 이때 Dataset은 예측 유지보수의 기반이 되고, HMI는 엔지니어의 판단을 보조하며, Automation은 반복 점검이나 위험 작업을 지원한다.

두 사례는 서로 다른 산업이지만 공통점이 있다. 데이터는 많지만 바로 쓰기 어렵고, 품질과 안정성이 중요하며, 사람의 전문 판단을 완전히 배제할 수 없다. 그래서 자율화의 출발점은 최신 AI 모델을 선택하는 것이 아니라, 현장의 작업과 데이터, 의사결정 구조를 계산 가능한 형태로 정리하는 것이다.

자율제조가 던지는 연구와 실무 과제

최근 제조 AI의 흐름은 개별 도구의 자동화에서 AI·데이터·디지털트윈 기반의 지능형 엔지니어링 체계로 확장되고 있다. 생성형 AI, LLM/RAG, 지식그래프, 3D Point Cloud, AAS 기반 디지털트윈, 로봇 자동화, XR 협업, 스마트제조는 서로 다른 주제처럼 보이지만 공통된 질문을 공유한다. 복잡한 엔지니어링 데이터를 어떻게 표현하고, 어떻게 연결하며, 어떻게 의사결정과 실행으로 이어지게 할 것인가라는 질문이다.

자가진화형 자율제조는 이 질문에 대한 산업 현장 중심의 답을 제시한다. 첫째, 자율제조는 데이터셋 구축에서 시작한다. AI 모델을 먼저 고르는 것이 아니라, 현장의 작업과 데이터, 품질 기준, 설비 상태, 의사결정 구조를 정리해야 한다. 둘째, 자율제조는 인간 중심 HMI를 필요로 한다. 제조 현장에서는 AI가 내린 결론보다 그 결론의 근거와 책임 구조가 더 중요할 때가 많다. 셋째, 자율제조는 Automation과 디지털트윈이 연결될 때 실제 효과를 낸다. 분석 결과가 물리적 실행과 운영 개선으로 이어져야 하기 때문이다.

이러한 접근은 연구자와 기업 모두에게 새로운 과제를 던진다. 데이터 표준과 지식 표현, 멀티모달 AI, 시뮬레이션 기반 합성 데이터, 설명 가능한 HMI, 안전한 로봇 제어, 디지털트윈의 지속적 갱신, 현장 적용 평가 방법은 모두 중요한 연구 주제다. 특히 바이오와 반도체처럼 높은 품질 신뢰성이 필요한 산업에서는 단일 모델의 정확도보다 시스템 전체의 신뢰성과 추적성이 중요하다.

현장 도입을 위한 질문

자율제조를 준비하는 기업과 연구자는 몇 가지 실무적 질문에서 출발할 수 있다. 현장의 데이터는 AI가 학습할 수 있는 형태로 정리되어 있는가. 작업자와 엔지니어가 판단해야 하는 지점과 자동화 가능한 지점은 구분되어 있는가. Automation이 수행할 작업은 안전 기준과 운영 시나리오 안에서 정의되어 있는가. 데이터셋은 실제 운영 중에도 계속 업데이트될 수 있는가. PoC 이후 실제 운영 단계에서 유지보수, 책임, 데이터 관리 체계는 준비되어 있는가.

이 질문들은 자율제조가 단순한 기술 도입 사업이 아니라 운영 체계의 재설계라는 점을 보여준다. 자율제조의 성패는 모델의 최신성보다 데이터의 구조, 판단의 책임, 인터페이스의 신뢰성, 물리 실행의 안전성에 달려 있다.

맺음말

자기진화형 자율제조의 의미는 자율제조의 최종 형태를 한 번에 제시하는 데 있지 않다. 오히려 Dataset, Automation, HMI, 디지털트윈을 실제 현장 조건 속에서 단계적으로 연결하고 검증한다는 점에 있다. 자율제조의 현실적 출발점은 완전 무인화가 아니라, 현장이 신뢰할 수 있는 방식으로 자율성을 조금씩 높이는 것이다.