UNIST, 이벤트 카메라 정밀 보정 기술 개발

[이데일리 신영빈 기자] 빠르게 움직이는 로봇이나 야간 주행 자율주행차에 활용되는 ‘이벤트 카메라’를 일반 카메라처럼 쉽고 정확하게 보정할 수 있는 기술이 개발됐다.

울산과학기술원(UNIST)은 주경돈 인공지능대학원 교수 연구팀이 일반 카메라 보정에 쓰이는 체커보드를 이용해 이벤트 카메라를 보정할 수 있는 컴퓨터비전 기술을 개발했다고 1일 밝혔다.

이벤트 카메라의 체커보드·에이프릴태그 기준점 검출 개요. 이벤트 카메라가 움직이며 체커보드와 에이프릴태그를 촬영하면, 밝기 변화가 생긴 지점만 이벤트 데이터로 기록된다. 연구팀은 이 원시 이벤트 데이터에서 체커보드의 격자 선과 에이프릴태그의 사각형 표식을 찾아내고, 보정과 위치 인식에 필요한 기준점을 검출했다. 왼쪽은 카메라 움직임과 보정판 촬영 과정을, 가운데는 이벤트 카메라가 기록한 원시 이벤트 데이터를, 오른쪽은 검출된 체커보드 코너와 에이프릴태그 기준점을 나타낸다. (사진=UNIST)

이벤트 카메라는 일반 카메라처럼 화면 전체를 일정한 간격으로 촬영하지 않고, 밝기 변화가 발생한 지점만 이벤트 형태로 기록하는 고성능 센서다. 빠른 움직임이나 어두운 환경에서도 정보를 효율적으로 얻을 수 있어 자율주행차, 로봇, 드론, 증강현실(AR)·가상현실(VR) 기기 등에서 차세대 비전 센서로 주목받고 있다.

다만 이벤트 카메라는 기존 체커보드 기반 보정 방식을 적용하기 어렵다는 한계가 있었다. 체커보드 보정은 검은색과 흰색 격자가 만나는 꼭짓점의 위치를 기준으로 렌즈 왜곡을 계산하는 방식이다. 하지만 이벤트 카메라는 밝기 변화가 생기는 부분만 기록하기 때문에 정작 기준점이 되는 꼭짓점에서는 이벤트가 거의 발생하지 않는다.

연구팀은 이 문제를 해결하기 위해 이벤트 데이터에서 체커보드의 꼭짓점을 직접 찾는 기술을 개발했다. 꼭짓점을 바로 탐지하는 대신 먼저 격자 선을 찾고, 선들이 만나는 주변에서 이벤트가 가장 적게 발생하는 지점을 꼭짓점으로 판단하는 방식이다. 꼭짓점에서는 밝기 변화가 상쇄돼 이벤트 정보가 거의 생기지 않는 반면, 선 형태의 경계에서는 정보가 뚜렷하게 나타난다는 점에 착안했다.

연구팀은 또 이벤트 데이터의 흐릿함을 줄이는 기술도 적용했다. 이벤트 카메라는 픽셀마다 밝기 변화가 발생한 순간을 개별적으로 기록하기 때문에 카메라나 보정판이 움직이는 동안 수집된 데이터를 그대로 합치면 격자 선이 번져 보일 수 있다. 연구팀은 흩어진 이벤트를 하나의 기준 시점에 맞춰 정렬해 격자 선을 더 선명하게 복원했다.

개발된 기술은 에이프릴태그 인식에도 적용할 수 있다. 에이프릴태그는 QR코드처럼 생긴 사각형 표식으로, 로봇이나 AR·VR 기기가 자신의 위치와 방향을 파악하는 데 사용된다. 연구팀은 실험에서 이벤트 데이터만으로 표식의 형태와 번호를 판별했으며, 일부가 가려지거나 화면 밖으로 벗어난 상황에서도 보이는 표식을 찾아냈다.

(왼쪽부터) 주경돈 UNIST 인공지능대학원 교수, 류태훈 연구원, 강창우 연구원 (사진=UNIST)

이번 연구는 UNIST 인공지능대학원 류태훈 연구원이 제1저자로 주도했으며, 강창우 연구원이 공동 수행했다.

류태훈 연구원은 “기존 방식은 이벤트 카메라 데이터를 일반 흑백 영상처럼 바꾼 뒤 체커보드 꼭짓점을 찾는 방식이라 변환 과정에서 흐림이나 실제 데이터에 없는 흔적이 생길 수 있었다”며 “이번 기술은 영상 변환 없이 이벤트 카메라가 기록한 신호 자체에서 기준점을 찾아낼 수 있어 보정 정확도를 높일 수 있다”고 설명했다.

주경돈 교수는 “정확한 카메라 보정은 다양한 비전 기술의 출발점이라는 점에서 의미가 크다”며 “이번 연구가 실제 환경에서 동작하는 로봇, 자율주행, AR·VR 시스템으로 확장되는 기반이 될 것으로 기대한다”고 말했다.

이번 연구는 오는 3일부터 미국 덴버에서 5일간 열리는 컴퓨터비전 분야 최상위권 국제학회 ‘컴퓨터 비전 및 패턴 인식학회(CVPR)’ 하이라이트 논문으로 선정됐다. 하이라이트 논문은 연구의 완성도와 중요성을 평가해 선정되며, 전체 제출 논문의 약 3.5%만 포함된다.

연구는 한국연구재단의 ‘이기종 에이전트 간 적응가능한 3차원 공간인지를 위한 동적 이벤트 카메라 기반 융합 센서팩 개발’ 사업과 정보통신기획평가원의 ‘인공지능대학원(UNIST)’, ‘AI Bots 협업 플랫폼 및 자기조직 인공지능 기술개발’, ‘일상생활에서 필요한 상식을 기반으로 새로운 사실을 추론하며 이해하는 인공지능 기술 개발’ 사업 지원을 받아 수행됐다.