2024 동계학술대회 우수 포스터상 수상자 논문에 대한 리뷰

박민서

자동차의 발명 이후로, 인류는 끊임없이 사람의 손을 떠나 자율적으로 운행하는 차량이라는 미래를 꿈꾸어 왔다. 이러한 상상은 아이작 아시모프의 공상 과학 소설부터 시작하여, "마이너리티 리포트", "토탈 리콜" 같은 다양한 대중문화 작품들을 통해 구체화되고 발전해왔다. 이 작품들은 단순한 상상력의 산물이 아니라, 미래 기술에 대한 인류의 꿈과 기대를 실체화한 것이었다.

2024년 현재, 우리는 이러한 꿈과 기대가 현실이 되어가는 과정 속에 살고 있다. 오랜 기간 동안 많은 연구자와 엔지니어들의 노력 덕분에, 다양한 기업들이 조건부 자동화를 실현하는 레벨 3 자율주행차의 상용화 단계에 도달했으며, 이제는 고도 자동화를 실현하는 레벨 4를 목표로 삼고 있다. 레벨 3와 레벨 4 사이의 구분은, 바로 '운전자의 개입 필요성'에 있다. 레벨 3에서는 시스템이 운전자에게 개입을 요청할 수 있는 반면, 레벨 4에서는 차량이 모든 상황을 자체적으로 처리하며, 운전자의 개입이 거의 필요 없다. 이 두 단계 사이의 전환은 단순한 기술적 발전을 넘어서, 우리가 교통 수단을 바라보는 방식과 상호작용하는 방식을 근본적으로 변화시킬 것이다.

하지만 이 목표에 이르기까지의 여정은 결코 단순하지 않다. 우리는 다음 단계로 발전하기 위해, 도움닫기의 역할을 하는 기술이 중요하다고 생각했다. 자동차가 대다수의 운행을 책임지기 전, 인간이 아직은 운전의 대부분을 수행해야 하지만 기술에 대한 안일한 믿음으로 주의력이 산만해질 때. 우리는 운전자가 집중력을 잃을 때가 제일 위험하다고 생각했다. 그래서 우린 운전자가 주의집중을 잃을 때 다시 상기시키는 방법에 대해 연구하기 시작했다.

‘운전자의 주의 분산으로 인한 사고를 예방하는 시스템’을 연구 주제로 잡고 나니, 시작부터 어려움에 봉착하였다. 우리가 접근할 수 있는 데이터셋 중에서는 운전자의 주의 집중 정도를 파악할 수 있는 것이 없었기 때문이다. 이를 위해 우리는 운전자의 시선 포인트와 머리 방향을 정밀하게 추적할 수 있는 데이터셋을 처음부터 구축해야 했다. 15명을 대상으로 ball marker를 장착한 시선추적기를 부착하고, depth camera가 있는 운전 시뮬레이션 공간 안에서 데이터셋을 수집하였다.

이 과정을 통해 얻은 데이터셋을 바탕으로 모델을 개발하기엔 어려움이 있었기에, 우린 모델 개발에 적합한 형태로 데이터셋을 가공하는 전처리 작업이 필요했다. ‘UNET++’딥러닝 모델을 사용하여 운전자의 얼굴 이미지에서 장착한 센서를 식별할 수 있는 마스킹 이미지를 추출하였고, 이 추출한 이미지와 ‘Deepfillv2’딥러닝 모델을 활용하여 얼굴 이미지에서 시선추적기를 inpainting 기법을 이용해 제거하여 맨 얼굴 이미지를 생성했다. 이러한 과정을 통해 얻은 데이터와 장치들의 상대적 위치를 분석하여, 운전자의 시선정보와 동공의 위치를 추정할 수 있었다.

운전자가 운전에 집중하지 않을 때 제일 위험한 상황은 무엇일까? 바로 앞에서 사고가 발생했거나 발생할 것 같은 경우, 상황을 인지하지 못하고 적절히 대처하지 못하는 것이다. 이러한 상황을 가정하기 위해 우리는 ‘UC-WIN/Road’ 운전 시뮬레이션 프로그램을 활용하여 다양한 사고 시나리오를 구현했다. 이를 통해 운전자가 주의를 기울이지 않을 경우 경고를 발생시키는 시스템을 개발하고자 했다.

데이터 처리와 시나리오 구축 작업에 이어, 우리는 Python의 diib 라이브러리로 얼굴 랜드마크 인식을 수행하고, 이 데이터를 바탕으로 머리 방향을 추정하는 다층 퍼셉트론(MLP) 모델을 학습시켰다. ‘VGG16’딥러닝 알고리즘을 통해 운전자의 눈 이미지에서 특징을 추출하고, 이 정보를 머리 방향 데이터와 함께 모델에 통합하여 시선 방향을 결정할 수 있었다. 이렇게 얻은 결과는 ‘UC-WIN/Road’의 가상 환경 좌표 시스템으로 변환되어, 시뮬레이션 내에서 실제와 유사한 시선 포인트를 생성할 수 있었다.

마지막 단계로, 우리는 ‘Argus’모델을 통해 차량 감지, 추적, 충돌 및 감지를 수행할 수 있는 사고 예측 시스템을 구현하였다. 위험 상황이 감지될 경우, GUI를 통해 사용자에게 경고가 표시된다. 이 시스템은 운전자가 주의를 기울이지 않을 때 즉각적인 피드백을 제공함으로써 효과적으로 사고 위험을 줄일 수 있는 방안을 제시한다.

하나하나의 단계마다 쉽게 넘어갈 수 있는 것이 없었다. 우리는 단순히 기존의 데이터셋을 활용하여 모델을 구축하는 것을 넘어서, 특정 목적에 맞는 새로운 데이터셋을 처음부터 창조하고, 이를 목표에 부합하도록 섬세하게 가공하며, 구조를 설계하는 복잡한 과정을 밟아왔다. 이 모든 과정은 어렵고 복잡했지만, 그만큼 의미있고 귀중한 시간이었다. 또한 연구의 본질을 더 깊이 이해하고 능동적인 탐구의 진정한 의미를 체감할 수 있는 기회이기도 했다.

CDE동계학술대회에서 우리의 연구를 포스터 형식으로 발표한 경험은 이러한 시간에 있어 정말 소중한 순간이었다. 우리 연구에 관심을 가져주고 그 내용을 귀 기울여 들어주려는 사람들 앞에서 연구 과정을 자세히 설명하는 것은 마치 멋진 자녀를 자랑스러워하는 부모님의 마음과 같았다. 전시장의 다른 연구 포스터들도 매력적이고 획기적인 주제로 가득했으나, 그 중 우리의 연구가 우수 포스터상을 수상할 수 있었던 것은 연구에 임한 우리의 노력과 열정을 인정받은 결과라고 생각한다. 이는 우리에게 더 큰 동기부여가 되어, 앞으로의 연구에서도 지속적으로 도전하고 새로운 영역을 탐색할 수 있는 용기를 주었다. 기회를 주신 모든 분들께 정말 감사하다는 말씀을 드리고 싶다.