|
셀렉트스타가 개발한 ‘다비’는 이러한 흐름의 중심에 선 판단 특화 AI다. 질문의 난이도를 스스로 판단해 가장 적절한 AI 모델을 선택하거나, AI 답변의 적절성 평가, AI 에이전트의 작업 성공 가능성 예측 등 고도화된 의사결정 프로세스 전반에 활용할 수 있다.
셀렉트스타는 다비의 객관적 성능을 검증하기 위해 JevBench, Laya Bench, Ko-Feedback Bench 등 5개 주요 영역에서 ‘제브’와 1:1 비교 실험을 실시했다.
실험 결과, 다비는 판단 능력 평가 도구인 ‘JevBench(231개 문항)’에서 89.2%의 정확도를 기록하며 제브(86.6%)를 2.6%포인트 앞섰다. 특히 복잡한 조건이 얽힌 고난도 문제에서는 77.5%를 기록, 제브(73.0%)와의 격차를 4.5%포인트로 벌렸다. 한국어 피드백 평가(Ko-Feedback Bench)에서도 다비(72.5%)가 제브(66.8%)보다 5.7%포인트 높은 성능을 나타내며 국내 환경에서의 우수성을 입증했다.
실제 기업 운영 환경을 가정한 ‘AI 모델 라우팅’ 실험에서도 다비의 효용성이 대폭 입증됐다. 모델 라우팅은 질문 난이도에 따라 최적의 모델을 배치해 성능과 비용을 동시에 최적화하는 기술이다.
셀렉트스타가 한국어 고난도 질의응답 870건을 대상으로 다비를 활용해 앤트로픽의 하이쿠(Haiku), 소넷(Sonnet), 오퍼스(Opus) 모델을 라우팅한 결과, 총 619건을 맞히며 71.1%의 정답률을 기록했다. 이는 가장 최고 성능·고비용 모델인 오퍼스만 단독 사용했을 때의 정답률(70.3%, 612건)보다 오히려 0.8%포인트 높은 수치다. 반면 전체 모델 실행 비용은 오퍼스 단독 사용 대비 약 28%나 줄어드는 성과를 냈다.
셀렉트스타는 이번 연구 결과를 토대로 오는 11월 자체 AI 신뢰성 평가 플랫폼 ‘다투모 이밸(Datumo Eval)’에 다비를 전면 적용한다. 이를 통해 AI 품질 평가 기능을 대폭 확장하고, 기업 고객들이 AI의 판단 결과를 신뢰성 있게 검증·운영할 수 있도록 지원할 계획이다.
아울러 셀렉트스타는 기술 생태계 저변 확대를 위해 다비 기반 AI 모델 라우팅 플러그인을 오픈소스로 전격 공개했다. 상업적 이용과 수정, 재배포가 자유로운 ‘아파치 라이선스 2.0(Apache License 2.0)’을 적용해 깃허브(GitHub)에 업로드 완료했다.
김세엽 셀렉트스타 대표는 “이번 오픈소스 공개를 통해 AI 판단 기술의 문턱을 낮추고 글로벌 개발자들과 성과를 공유하고자 한다”며 “앞으로도 기술 고도화를 통해 기업들의 AI 도입 및 운영 효율화를 극대화하는 데 기여할 것”이라고 말했다.
