항공대 지역협력연구센터(GRRC), 포인트 클라우드 데이터를 활용한 3차원 영상 복원 기술 개발 /우민기기자 woomin80@sudokwon.com

2022년 02월 17일(목) 20:57

[ /우민기기자 ] 한국항공대 지역협력연구센터(GRRC)에서 인공지능(AI) 기반의 포인트 클라우드를 이용하여 3차원 영상을 복원하는 기술 확보에 성공했다.

항공대학교 연구팀은 3차원 스캐너 등으로 얼굴 데이터를 획득할 때 발생하는 가려짐, 측정오차 등으로 오류가 있는 포인트 클라우드 데이터에 대하여, 얼굴 형태에 대한 사전 정보와 가려진 영역의 주변 데이터 분석을 바탕으로 인공지능(AI) 기술을 활용해 가려짐 영역을 복원할 수 있는 기술을 개발했다.

포인트 클라우드는 3차원의 공간에서 존재하는 여러 포인트의 집합으로 3차원 정보를 직접적으로 표현하는 데이터이다. 2차원 정보에 깊이(Depth) 카메라, 라이다(Lidar), 레이더(Radar) 등을 이용하여 깊이 정보를 추가해 3차원 정보를 표현한다. 이와 같은 3차원 정보는 자율주행 자동차나 무인로봇, 영상기반 보안 시스템 등에서 기존의 2차원 영상 정보와 함께 매우 중요하게 활용될 수 있다.

하지만, 포인트 클라우드의 데이터 획득 및 처리 기술은 기존 영상의 정보를 얻거나 처리하는 과정과 비교하면 복잡하고 난이도가 높다. 특히 본 연구에서 다루고 있는 얼굴 영상에 대한 포인트 클라우드 데이터를 획득하는 경우, 정면 혹은 측면 등 고정된 각도에서 촬영하게 되면 얼굴 내 감지가 되지 않는 음영 지역이 많이 생기게 되어 불완전한 포인트 클라우드를 얻게 된다. 이러한 음영 지역은 다양한 각도에서 2~3회 이상의 측정을 통해 보완할 수 있지만, 이러한 경우 여러 번의 측정 과정에서 얼굴의 위치나 형태가 계속해서 바뀌게 되어 측정된 데이터의 정확도가 낮아지게 된다.

연구팀은 이러한 얼굴영상의 3차원 감지·측정 문제 해결을 위해, 정면에서 고정된 얼굴 영상의 정보만을 가지고 얼굴 전체의 영역을 복원하는 얼굴 데이터 완성 기술을 사용했다. 먼저, 정면 얼굴에서 측정이 되지 않은 가려진 영역을 자동으로 추출하고, 이 영역에 대한 포인트 복원을 위해 여러 각도에 대한 2차원 사영 방식을 이용하여 다수의 후보 포인트를 예측하였다.

이렇게 예측된 후보 포인트들과 얼굴 전체 영상의 윤곽 및 주변에 측정된 포인트를 바탕으로 그래프 기반의 인공지능(AI) 딥 네트워크를 설계하여 얼굴 전체의 포인트를 복원하는 기술을 제안하였다. 제안된 모델에서는 단순하게 가려진 영역에 대한 복원 뿐 아니라 기존 측정된 포인트 클라우드 데이터도 함께 처리하여, 자연스럽고 실제 측정한 것 같은 복원이 이루어졌음을 확인했다.

오병태 교수는 “제안기술을 바탕으로 단순히 얼굴 영상 뿐 아니라 포인트 클라우드가 다양한 분야에 적용할 수 있는 발판을 마련했다”며 “관련 기술을 기업에 이전하여 매출 창출까지 연결될 수 있도록 노력할 것”이라고 말했다.

이번 연구는 경기도 지역협력연구센터(GRRC) 사업 지원으로, 연구결과는 지난 1월 달에 전기전자 분야의 국제 저명 학술지인 ‘센서스 (Sensors)’에 게재되었다.

한편 경기도 지역협력연구센터(GRRC) 사업은 연구개발 기반이 부족한 중소기업을 지원하기 위해 경기도가 도내 대학, 연구소와 중소기업을 연결, 기술개발 활동을 지원하는 산·학 협력모델로 관련 산업의 기술 경쟁력 향상을 통한 지역경제 활성화를 목표로 하고 있다. 한국항공대를 비롯한 10개의 센터가 활발히 연구개발을 수행 중이다.

/우민기기자 woomin80@sudokwon.com 우민기 기자의 다른 기사 보기