셀렉트스타는 신한은행과 공동 연구한 금융 특화 LLM 벤치마크 ‘K-뱅크이밸(K-BankEval)’ 논문이 국제학술대회 ‘ICAIF 2026’ 워크숍에 채택됐다고 17일 밝혔다.
|
최근 금융권에서 생성형 AI와 AI 에이전트 도입이 급물살을 타고 있지만, 기존 범용 벤치마크만으로는 실제 은행 실무 적합성을 판단하기 어렵다는 지적이 많았다. 이에 신한은행이 실제 현장에서 요구되는 평가 기준과 방향성을 제시하고, 셀렉트스타가 고유의 AI 평가 기술을 접목해 실무형 벤치마크를 완성했다.
금융지식부터 에이전트 수행력까지…5000개 항목으로 정밀 검증
K-뱅크이밸은 단순 질의응답 정확도를 넘어 실제 은행 업무 수행 역량을 입체적으로 검증하기 위해 총 6개 영역, 5000개 평가 항목으로 설계됐다. 구체적으로는 △금융지식 △검색증강생성(RAG) △금융 업무 도구 활용(Tool Calling) △금융추론 △답변 안전성 △AI 에이전트 업무 계획 평가를 다룬다.
특히 금융소비자 보호 관점을 반영한 은행 특화 안전성 평가 체계를 구축한 것이 특징이다. AI가 업무에 필요한 외부 기능을 적재적소에 호출하는지, 다단계 업무를 처리하기 위한 계획과 도구 사용 순서를 올바르게 짜는지도 세밀하게 평가한다. 향후 금융기관이 AI 모델을 도입할 때 업무별 최적의 모델을 객관적으로 비교·선정하는 지표로 활용될 전망이다.
‘핀레드’ 이어 국제학회 연타석 쾌거…금융 AI 신뢰성 평가 선도
셀렉트스타의 금융 AI 평가 기술은 국제 무대에서 연이어 성과를 내고 있다. 앞서 셀렉트스타가 금융보안원, 카이스트(KAIST)와 공동 개발한 금융 AI 안전성 평가 프레임워크 ‘핀레드(FinRED)’ 논문 역시 데이터 마이닝 분야 최고 권위 학회인 ‘IEEE ICDM 2026’ 메인 컨퍼런스에 채택됐다.
핀레드는 보이스피싱, 자금세탁, 규제 회피 등 금융권 특화 위험 시나리오 5805개를 바탕으로 AI의 취약점을 식별하는 기술로, 기존 범용 평가 대비 전문가 판단과의 일치율을 88.46%까지 끌어올렸다. K-뱅크이밸이 ‘업무 적합성’을 가려낸다면, 핀레드는 ‘위험 방지 및 안전성’을 검증하는 상호 보완적 역할을 한다. 실제로 K-뱅크이밸의 답변 안전성 항목을 구체화하는 과정에서 핀레드의 위험 분류 체계가 반영됐다.
김세엽 셀렉트스타 대표는 “신한은행과 함께 실제 은행 현장에서 요구되는 AI 역량을 구체화하고 객관적 평가 체계를 마련했다는 데 큰 의의가 있다”며 “국제학회에서 인정받은 연구 성과들을 바탕으로 금융 AI의 업무 적합성과 안전성을 아우르는 신뢰성 평가 역량을 한층 고도화할 것”이라고 말했다.





