쏘카, 컴퓨터비전학회 ‘모빌리티 초거대 AI 챌린지’ 주관

[이데일리 김현아 기자]

(왼쪽부터) 쏘카 AI팀 박경호 팀장, 정희연 매니저, 서태원 매니저, 이상혁 매니저, 김현수 매니저

모빌리티 도메인 멀티모달 초거대 AI의 학습 및 적용 과정

쏘카가 전 세계 AI 연구자들이 참여하는 모빌리티 초거대 AI 챌린지를 진행한다.

쏘카(대표 박재욱)는 6월 열리는 컴퓨터비전 분야 세계 최고 권위 학회인 ‘CVPR(Computer Vision and Pattern Recognition) 2023’에서 워크숍 ‘VPLOW(Visual Perception via Learning in an Open World)’를 주관하고 모빌리티 도메인 최초로 초거대 AI 글로벌 챌린지를 개최한다고 19일 밝혔다.

쏘카AI팀, 데이터셋 무료 제공..경연 참가

쏘카 AI팀은 오는 6월 15일까지 ‘멀티모달 기반의 퓨샷러닝(Few Shot Learning Based on Multi-modal Model)’을 주제로 ‘FMDC(Foundational Model without Descriptive Caption)’ 챌린지를 개최, 참여자들은 텍스트나 이미지 등 표현방식이 다른 데이터를 인간처럼 이해하고 학습하는 멀티모달 AI모델 구축 과제를 수행하고 경연을 펼친다.

챌린지 최종 수상팀에게는 오는 6월 18일 캐나다 밴쿠버에서 개최되는 CVPR 2023 워크숍에서 성과를 발표할 기회가 주어진다.

챌린지를 위해 쏘카 초거대 AI에서 실제 활용하고 있는 3만여쌍의 이미지-텍스트 데이터셋을 참여자들에게 무료로 제공한다.

해당 데이터셋은 차량의 파손이나 오염 등을 식별할 수 있는 쏘카 차량의 실내외 사진 등 실제로 카셰어링 플랫폼 운영 중 획득한 이미지와 텍스트로 구성했고, 데이터 내 개인정보를 제거하고 편향되지 않도록 AI 윤리 검증을 마쳤다.

챌린지에선 참여자들의 구축한 AI 모델이 학습한 데이터를 바탕으로 현실에서 발생하는 새로운 데이터들을 얼마나 정확하게 이해하는지 평가한다.

예를 들어, 파손된 차량을 한 번도 본 적이 없는 사람에게 파손된 차량의 사진과 ‘차량의 왼쪽 문에 흠집이 있습니다’와 같은 캡션을 동시에 보여주고 다양한 물체들의 공통점과 차이점을 학습시킨 뒤 현실에서 발생한 사고의 이미지로부터 사고의 발생 유무를 식별하는 방식이다.

쏘카 AI팀(박경호 팀장, 정현희 매니저, 서태원 매니저, 김현수 매니저, 이상혁 매니저)은 “세계 최고의 권위를 자랑하는 학회에서 모빌리티 플랫폼 운영 핵심 역량인 AI 기술을 주제로 챌린지를 개최하게 된 것을 뜻깊게 생각한다”며 “연간 2만여대의 대규모 플릿을 운영하고 있는 쏘카의 AI 기술을 전 세계 AI 연구자들에게 알리는 동시에 모빌리티 기술 생태계 발전을 함께 고민할 수 있는 좋은 자리가 되길 바란다”고 했다.

AI 적용된 쏘카 서비스

쏘카는 앱과 차량 등 플랫폼을 통해 얻을 수 있는 여러 데이터를 AI와 접목해 운영 효율화를 이뤄내고 있다.

대표적으로 차량 사고 부문에서 고객이 쏘카를 이용하기 전/후 올리는 사진 데이터, 차량관제단말기의 DR-GPS 센서 데이터, 블랙박스의 영상 데이터를 활용해 차량 파손과 사고 여부를 초거대AI를 통해 식별하고 자동으로 처리하는 시스템까지 운영한다.

차량 세차 영역에선 이미지를 통한 차량의 오염 여부 판단, 고객 또는 세차원의 세차 퀄리티 확인 및 세차 인증 등을 자동화했다.