|
송 엔지니어가 1저자로 참여한 이번 논문(단일 사용자 대화를 넘어: LLM의 다중 사용자 대화 상태 추적 성능 평가)은 실제 고객 응대 환경과 유사한 다중 사용자 대화 상황을 설정하고, 대규모언어모델(LLM)의 대화상태추적(DST) 성능을 체계적으로 검증한 연구다.
연구팀은 단일 사용자 대화로 구성된 기존 DST 데이터셋에 화행이론(Speech Act Theory)을 바탕으로, LLM이 만든 두 번째 사용자의 발화를 더해 다중 화자 상황을 구현했다. 이를 통해 데이터 구축 비용은 낮추고 실험 통제력은 높이는 구조적 실험 설계를 도입했다.
그 결과 LLM은 단일 사용자 환경에서는 안정적인 성능을 보였으나 다중 사용자 환경에서는 화자 간 의도 파악 및 대화 상태 유지에 어려움을 겪으며 성능이 저하되는 것으로 나타났다. 이는 생성형 AI 모델의 실제 서비스 환경 적용 시 고려해야 할 중요한 기술적 지점을 짚어낸 결과로 평가된다.
이상오 GS네오텍 최고기술책임자(CTO)는 “AI 컨택센터는 단순한 상담 자동화를 넘어 기업과 고객을 연결하는 핵심 비즈니스 인프라로 진화하고 있다”며 “이번 연구 결과를 통해 다중 사용자 대화 상황에서 생성형 AI가 해결해야 할 과제를 명확히 확인했다”고 전했다.
