AI에 어디까지 맡길 것인가[김현정의 IT 세상]

[김현정 한국IBM 컨설팅 대표]2026년은 인공지능(AI) 파일럿의 해가 아니다. 에이전틱 AI를 통해 프로덕션급 자율성을 실제 기업 운영에 구현하는 것이 가능할 것으로 기대되는 해이다. 올해 가장 큰 관심을 받고 있는 보안은 물론 공급망·재무·고객 서비스에서 나아가 산업별 코어 프로세스까지 사람이 설계하고 에이전트가 실행·적응하는 모델이 힘을 얻고 있다. 이 흐름 앞에서 산업계가 직면한 진짜 질문은 AI를 얼마나 빨리, 얼마나 많이 도입했는가가 아니다. AI에 얼마만큼의 자율성을 허용할 것인가다. 이 질문에 대한 답의 깊이가 앞으로 기업 간 격차를 결정짓게 될 것이다.

현장에서 만나는 기업들의 풍경은 대부분 비슷하다. 생성형 AI를 업무 곳곳에 적용했고 일부 영역에서는 분명한 효율 개선도 나타나고 있다. 그러나 최종 판단과 실행은 여전히 사람의 몫이다. AI는 제안하고 사람이 승인하고 다시 사람이 실행한다. 이 구조에서 AI는 아무리 똑똑해져도 보조 도구의 위치를 벗어나지 못한다. 문제는 시장의 속도가 이 구조를 더 이상 허용하지 않는다는 데 있다. 실제 이러한 변화의 규모는 숫자에서도 나타난다. 가트너에 따르면 2026년 말까지 기업 애플리케이션의 40%에 작업 특화형 AI 에이전트가 내장될 전망이다. 1년 전 5% 미만이었던 수치가 8배 뛴 것이다. 지난 5월 IBM이 연례행사인 ‘싱크 2026’에서 선언한 것도 같은 맥락이다. “앞서 가는 기업들은 AI를 더 많이 배포하는 것이 아니라 사업 운영 방식 자체를 재설계하고 있다.” AI가 단순히 답을 제안하는 단계에서 스스로 실행하고 조율하는 단계로 넘어가고 있다는 의미다. 자동화가 반복 작업을 기계에 넘기는 것이었다면 자율성은 판단과 적응까지 기계에 맡기는 것이다. 차원이 다르다.

그러나 자율성의 확대에는 반드시 그림자가 따른다. IBM 조사에 따르면 2026년 말까지 대부분의 대형 기업이 1600개 이상의 AI 에이전트로 구성된 디지털 인력을 운영하게 될 것으로 전망된다. 그런데 경영진의 70%는 현재의 AI 거버넌스 체계가 AI 전환을 오히려 늦추고 있다고 답했다. 자신의 조직 안에서 이미 작동 중인 에이전트 현황을 파악하고 있는 조직은 18%에 불과하고 에이전트 확산을 관리하는 중앙화한 플랫폼을 갖춘 곳은 12%에 그친다. 자율성은 빠르게 확장되고 있는데 그것을 감독하고 통제할 구조는 한참 뒤에서 따라오고 있는 셈이다. IBM 기업가치연구소가 “볼 수 없는 시스템은 통제·감시할 수 없다”고 지적한 것도, AI 오케스트레이션 레이어를 구축한 기업이 그렇지 않은 기업보다 AI를 확장할 가능성이 13배 높다고 밝힌 것도 같은 맥락이다. 준비 없는 자율성은 효율이 아니라 혼란을 가속할 뿐이다.

더 근본적인 문제는 자율성이 높아질수록 조직의 역할 구조 자체가 바뀐다는 점이다. 사람이 모든 것을 실행하던 시대에는 역할이 곧 직무였다. 그러나 AI 에이전트가 실행과 판단의 상당 부분을 가져가는 구조에서는 사람의 역할이 실행자에서 오케스트레이터로 이동한다. 이것은 단순한 업무 재배치가 아니라 조직 운영의 원리가 바뀌는 것이다. 백지에서 출발해 업무의 흐름을 다시 정의하고 그 위에서 사람과 에이전트의 역할을 새롭게 설계해야 한다.

결국 AI에 자율성을 부여하는 일은 역설적으로 인간의 설계 역량을 그 어느 때보다 정교하게 요구한다. 어떤 업무에 어느 수준까지의 자율을 허용할 것인지, 에이전트 간의 협업은 어떤 규칙으로 작동하게 할 것인지, 에이전트의 판단이 잘못됐을 경우 책임의 구조는 어떻게 설계할 것인지. 이 질문들에 답하지 않은 채 자율성을 확장하는 것은 가속 페달만 있고 브레이크는 없는 차를 몰고 고속도로를 달리는 것과 다르지 않다. 변화의 중심에는 기술이 있지만 자율의 범위와 한계를 정의하는 것은 결국 리더십의 통찰과 결단이다. 지금이야말로 기업이 AI의 자율성을 단순한 효율의 수단이 아니라 조직 운영의 근본 원리로 다시 설계해야 할 시점이다.