29개 관절·공 위치 몇초만에..AI는 어떻게 오프사이드를 알아낼까

[이데일리 강민구 기자] 지난 28일 열린 ‘2022 카타르월드컵’ 대한민국과 가나전 후반 추가 시간. 권경원이 날린 중거리슛이 가나 선수 몸에 맞고 골라인을 벗어났다. 코너킥 기회를 이용해 극적인 동점골을 기대하던 상황. 주심은 그대로 경기 종료를 선언해 논란이 일었다.

국내 축구팬들은 이번 월드컵에서 심판 판정을 아쉬워하는 분위기다. 하지만 ‘반자동 오프사이드 판독기술(SAOT)’은 예외다. 피파(FIFA)가 3년 동안 실증작업을 거쳐 만든 이 시스템이 반자동으로 분석관들을 도와 정확하게 판정하고 있기 때문이다. 인공지능을 비롯한 과학기술을 접목했기 때문에 가능한 결과다.

국내에서도 한국과학기술연구원(KIST) 등에서 핵심 기술인 관절 추출 기술 등을 보유하고 있어 지난 러시아월드컵에서 도입된 VAR(비디오판독시스템)처럼 K리그에서도 쓰고, 반칙도 인공지능으로 정확하게 판단하는 날이 올 것으로 기대를 모은다.

경기장 지붕 아래 장착된 12대의 카메라로 29개 지점에서 정보를 추출한다.(사진=피파)

카메라로 관절정보 뽑아내

SAOT 기술은 경기장 지붕 아래 왼쪽과 오른쪽에 설치된 12대의 카메라를 이용해 눈, 어깨, 발 등에서 데이터를 뽑아내고, 공에 들어간 센서가 만든 데이터를 이용한다. 인공지능 기술이 들어가 오프사이드 위치에 있는 공격수가 공을 받을 때마다 영상분석실 내 분석관들에게 오프사이드 여부를 알려줘 판정을 돕는다.

경기장 지붕 아래에는 왼쪽에 6대, 오른쪽에 6대 등 총 12대의 전용 카메라가 설치돼 카메라는 선수들의 움직일 때마다 데이터를 추출한다. 선수별로 최대 29개 지점을 초당 50회씩 추적해 경기장에서 있는 위치를 계산한다.

원리는 인공지능으로 객체를 인식하는 것과 비슷하다. 인공지능으로 쓰레기를 무단 투기자를 잡는다고 가정하면 카메라로 사람의 위치를 추적하고, 쓰레기 투기를 하려고 손을 내미는 행위, 쓰레기 더미와의 연관성을 찾아야 한다. 이때 관절 정보를 분석해야 하는 것과 같다.

그런데 축구경기에서는 관절 정보를 아무리 뽑아내도 공을 차는 시점이나 공의 움직임을 정확하게 파악하기 어렵다. 가령 선수들이 공을 차는 시점이 빠르고, 수비공간 침투를 동시에 할 수 있다. 때문에 이번 월드컵 공인 축구공인 ‘알릴라’ 속에 관성측정장치(IMU)가 들어가서 공의 위치를 추적한다. 관성측정장치는 가속도 센서와 각속도 센서로 구성돼 공이 얼마나 빠르게 회전하는지 알려준다. 가속도 정보로 거리도 계산할 수 있다. 언제 공을 찼는지 재빨리 판단하기 위해 1초에 500회 데이터를 얻어 비디오 분석실로 보낸다.

이번 월드컵 공인 축구공인 ‘알릴라’에는 관성측정장치가 들어가 공위치 추적을 돕는다.(사진=피파)

인공지능 기술 접목

데이터 분석과정에서는 딥러닝으로 학습한 모듈과 3차원 렌더링 기술 등을 이용한다. 인공지능이 공을 찬 시점과 선수들의관절 정보를 이용해 위치를 찾아낸다. VAR로는 평균적으로 70초가량 시간이 걸렸는데 인공지능으로 단 몇초 만에 시각적으로 보여주고, 심판이 판정하기까지 20~30초면 충분하다.

김익재 한국과학기술연구원(KIST) AI로봇연구소장은 “29개의 관절 정보가 있으면 3차원으로 렌더링을 할 수 있다”며 “스켈레톤 구조라고 해서 관절(정보 추출지점)들을 모으고, 뼈대에 살을 입혀 3차원 애니메이션 형태로 만들 수 있다”고 설명했다.

피파에 따르면 시스템의 정확성은 매우 높다. 지난 3년 동안 미국의 매사추세츠공대 스포츠연구소에서 데이터를 분석했고, 호주의 빅토리아대에서 사지 추적 기술을 과학적으로 검증했다. 스위스 연방공대 연구진이 다중카메라 추적시스템을 맡아 검증하면서 신뢰성을 높였다. 특히 사람 관절 정보 데이터를 이미 분석해서 학습시킨 모듈을 적용해 빠른 판단을 돕도록 했다. 피파는 “SAOT 기술은 현재 영상으로 확인할 수 있는 가장 정확한 오프사이드 지원 시스템”이라며 “어깨나 팔의 윗부분이 오프사이드 라인을 결정하는 상황에서 일관적으로 판정을 한다”고 설명했다.

한국과학기술연구원의 3차원 동작 분석 장면. 인공지능 기술 개발에서 관절 추출은 핵심 기반 기술 중 하나다.(사진=한국과학기술연구원)

국내서도 요소기술은 갖춰

축구경기에서 심판들의 판정은 선수들의 경기력에 영향을 준다. VAR이 잘못된 판정을 줄여준 것처럼 SAOT는 정확한 판단을 돕는다. 우리나라도 요소기술들을 갖고 있어 현장 시험만 거치면 시스템 통합 과정을 거쳐 K리그에도 적용할 수 있을 것으로 보인다.

이번 월드컵에서 반자동 오프사이드 감지가 처음 적용됐지만, 앞으로 인공지능으로 반칙을 찾아내는 데에도 활용할 수 있다. 김익재 소장은 “반칙도 심판 재량에 따라 판정하기 때문에 선수들의 경기력에 영향을 주고, 때로는 잘못된 판정을 내릴 수도 있다”며 “반자동 감지기술처럼 인공지능 기술이 더 발전하면 심판이 보지 못하는 영역까지 찾아내 정확한 판단을 도울 수 있다”고 했다.