1. 개발 배경 및 목적

자율주행 기술의 발전으로 차량은 단순 이동 수단을 넘어 탑승자를 위한 개인화된 콘텐츠 감상 및 정보 탐색의 공간으로 전환되고 있다. 특히 운전 개입이 최소화됨에 따라 차량 내 비운전 활동(Non-Driving Related Task, NDRT)이 증가하고 있다. 차량은 단순 이동 수단을 넘어 개인화된 콘텐츠 감상과 정보 탐색의 공간으로 전환되고 있으며, 기존 버튼·터치 기반 인터페이스는 몰입을 방해하고 직관성이 부족하다는 한계가 있다. 본 시스템은 이러한 제약을 극복하고 비운전 활동(NDRT) 상황에서의 사용 편의성을 높이기 위해, 탑승자의 신체 동작과 음성을 매개로 하는 NUI(Natural User Interface) 기반의 지능형 멀티모달 콘텐츠 제어 시스템을 개발하는 것을 목적으로 한다.

2. 시스템 개요

본 시스템은 실제 미니밴 도어를 활용한 이동형 시제품에 소프트웨어를 통합하여 구현한 동작 가능한 프로토타입이다. 주요 구성은 다음과 같다.

3. 핵심 기술 차별점

본 시스템은 탑승자가 투명 OLED 스크린을 통해 시각적으로 표출되는 GUI 터치 인터페이스와 음성·제스처 입력을 상황에 맞춰 자유롭게 선택·제어할 수 있도록 유기적 연동 환경을 제공하며, 다음과 같은 기술적 차별점을 가진다.

- LLM 기반 자연어 해석: 본 시스템은 단순 키워드 매칭이 아닌 의미 기반 자연어 이해(NLU)를 적용하였다. 사용자의 발화 생략이나 감탄사 등 불필요한 요소를 무시하고 정형화된 형식을 출력하도록 시스템 프롬프트를 설계하였다. 이를 통해 "이순신 영상 보여주고 볼륨 70으로 맞춰줘"와 같은 탑승자의 비정형 복합 명령도 정형화된 형태의 데이터 파이프라인으로 실시간 변환하여 처리하였다.

- 사용자 정의 제스처: 기존 제조사 및 공급자 중심의 일방적인 사전 정의 방식에서 벗어나, 사전 사용자 조사와 실험을 통해 직관성과 수행 용이성을 검증한 6가지 핵심 제스처 세트를 적용하였다. 이를 통해 Palm Forward(재생/일시정지), Fist and Drag(볼륨 및 탐색 조절), Palm to Fist(영상 종료) 등의 동작을 정확히 감지하며 시스템의 오조작률을 최소화하였다.

- 멀티모달 통합 및 입력 우선순위 전략 체계: 음성, 제스처, 터치 인터페이스를 통해 입력되는 탑승자의 서로 다른 명령을 모두 동일한 표준 명령어 프로토콜로 단일화함으로써 동시 입력에 따른 시스템 충돌을 완벽히 방지하였다. 더불어 조작 메뉴 및 탑승 상황에 맞춘 입력 우선순위 전략(콘텐츠 제어 시 터치 우선, 비상 상황 시 음성 우선 등)을 독창적으로 바인딩하여 시스템의 신뢰도를 향상시켰다.

- 투명 OLED 기반 몰입형 UX: 주행 중 실외 풍경을 확보할 수 있는 차세대 디스플레이인 30인치 투명 OLED를 활용하여, 차량 외부 시야를 유지함과 동시에 디스플레이 전면에 관련 콘텐츠와 주변 장소 정보를 자연스럽게 가시화하는 오버레이 인터페이스를 구현하였다. 이를 통해 주행 여정과 연계된 높은 차원의 사용자 경험(UX)을 실현하였으며, 향후 실차 AR(증강현실) 기반 안내 시스템으로의 높은 기술적 확장성을 확보하였다.