“AI 1등·10등 차이 없다”…코난테크놀로지가 ‘AX 수주’에 올인한 이유

[이데일리 윤정훈 기자]“AI 모델 1등이나 10등이나 실제 업무 현장에서는 99점과 98점의 차이에 불과합니다.”

양승현 코난테크놀로지(402030) 최고운영책임자(COO)는 최근 서울 서초구 사옥에서 이데일리와 만나 생성형 AI 시장의 경쟁 구도가 근본적으로 바뀌고 있다고 강조했다. 성능 경쟁 시대에서 AI를 실제 업무 현장에 얼마나 빠르고 안정적으로 적용하는지가 승부처가 됐다는 뜻이다. 코난테크놀로지의 창립멤버인 양 COO는 서울대학교 컴퓨터공학과 박사 출신의 1세대 AI 전문가로, 2023년부터 2025년까지는 SKT 최고기술책임자(CTO)를 겸임한 바 있다.

양 COO는 “생성형 AI 초기에는 모델 성능을 놓고 벤치마크 경쟁이 치열했지만 지금은 오픈소스와 상용 API 간 성능 격차가 빠르게 줄고 있다”며 “최신 오픈소스 모델도 선두 모델을 3~4개월 격차로 따라잡고 있다”고 설명했다.

양승현 코난테크놀로지 최고운영책임자(COO)는 최근 서울 서초구 사옥에서 이데일리와 인터뷰를 하고 있다(사진=방인권 기자)

빅테크도 뛰어든 공공 AX 경쟁…승부처는 ‘현장 대응력’

최근 오픈AI, 구글 등 글로벌 빅테크 기업들은 국내 지자체·공공기관과 잇따라 업무협약(MOU)을 맺으며 공공 시장 진출을 타진하고 있다. 하지만 양 COO는 이들이 실제 업무 환경에서 대규모 AX 시스템을 구축하는 데는 상당한 어려움이 있을 것으로 내다봤다.

이유는 공공기관마다 데이터와 보안 환경, 기존 업무 시스템이 제각각이기 때문이다. 빅테크가 AI 모델이나 클라우드, API를 제공하는 데는 강점이 있지만 기관별 데이터를 정리하고 기존 시스템과 연결하는 맞춤형 구축 작업에서는 상대적으로 불리하다는 설명이다.

실제 공공기관에 쌓인 데이터는 파일 포맷이 제각각이고 PDF 문서 자체가 없는 경우도 적지 않다. 그는 시험 환경(PoC)에서는 작동하던 AI 모델이 수천 명이 동시에 접속하고 엄격한 보안을 요구하는 실제 업무 환경에 들어가면 예상하지 못한 오류가 발생하는 일이 많다고 전했다.

발전사 5곳 중 3곳 잡았다…비결은 ‘데이터’와 ‘현장 경험’

코난은 이 틈새를 20년 이상 축적한 데이터 기술과 현장 경험으로 파고들었다. 공공기관 곳곳에 흩어진 문서와 데이터를 AI가 읽고 검색·요약할 수 있는 상태로 정리하는 ‘데이터 파이프라인’ 기술 이 핵심이다. 검색엔진 사업을 오래 해온 만큼 비정형 데이터를 정리하고 인덱싱해 검색·요약이 가능하도록 만드는 노하우가 축적돼 있다는 설명이다.

또 다른 경쟁력은 자체 LLM을 개발하고 현장 문제에 직접 대응할 수 있는 역량이다. 코난은 2023년부터 국내 기업 가운데 선도적으로 엔비디아 H100 GPU를 100억원 이상 사들여 자체 파운데이션 모델 프리트레이닝을 해온 경험이 있다.

양 COO는 “초기에는 오픈소스 모델을 그대로 활용하는 경우 현장에서 문제가 발생했을 때 모델 자체를 수정하거나 재학습하는 데 한계가 있었다”며 “저희는 현장에서 문제가 발생하면 모델을 다시 학습하고 데이터를 보강하는 방식으로 대응했다”고 말했다.

이런 대응력이 초기 고객의 신뢰로 이어졌고, 이후 후속 수주를 따내는 레퍼런스로 작용했다. 코난은 한국남부발전에 이어 한국서부발전에 H200 기반 인프라와 한국어 특화 LLM을 활용한 하이브리드 생성형 AI 플랫폼을 구축했다. 한국중부발전에는 설비 고장 이력과 점검 리포트를 통합 아카이빙해 대화형으로 검색하고 보고서를 자동 작성할 수 있는 시스템을 구축했다.

보안 민감도가 높은 발전 공기업의 특성에 맞춰 GPU 서버까지 현장에 직접 구축하는 온프레미스 방식을 택한 것도 경쟁력으로 꼽힌다. 데이터를 외부로 내보내지 않으면서 외부 클라우드 이용료와 토큰 사용료 부담을 줄일 수 있어 공공기관의 선호도가 높다는 설명이다.

양승현 코난테크놀로지 최고운영책임자(COO)는 최근 서울 서초구 사옥에서 이데일리와 인터뷰를 하고 있다(사진=방인권 기자)

“2.0은 사람이 일하고 AI가 돕는 것…3.0은 AI가 일하고 사람은 승인만”

양 COO가 바라보는 다음 승부처는 ‘AX 3.0’이다.

AX 1.0은 챗봇에 질문하고 답을 받는 수준이고, AX 2.0은 AI를 보조 도구로 활용해 사람이 직접 하던 업무의 일부를 자동화하고 시간을 줄이는 단계다. AX 3.0은 AI 에이전트가 업무를 주도적으로 수행하고 사람은 결과물을 최종적으로 검토·승인하는 단계다. AX 3.0 시대가 되면 1년이 걸리던 업무가 일주일로, 하루 걸리던 일이 한 시간으로 줄어드는 식의 변화가 가능하다는 것이다.

양 COO는 “앞으로는 사람이 지시하고 AI가 일하는 ‘AX 3.0’ 시대의 미친 생산성을 현장에 이식하는 기업만 살아남을 것”이라며 “고객 맞춤형 연동 작업을 기성품처럼 표준화하고 내실을 다져 높은 수익성과 기술력을 갖춘 공공·민간 AX 1위 기업으로 자리매김하겠다”고 강조했다.