IBM "거버넌스 압박 커지는 엔터프라이즈 AI 에이전트, 새로운 운영 모델 필수"

인공지능(AI)이 단순한 질의응답을 넘어 다단계 업무를 수행하고 비즈니스 의사결정을 내리는 수준으로 진화함에 따라, 기업 리더들은 점차 커지는 책임성 격차(accountability gap)에 직면하고 있다. 런던에서 열린 IBM의 'Think on Tour EMEA 2026' 콘퍼런스에 모인 기술 경영진과 업계 파트너들은 급격한 자동화와 엄격한 운영 감독 간의 균형을 맞춰야 하는 시급한 과제를 논의했다.

IBM의 EMEA 및 APAC 총괄 부사장 겸 의장인 Ana Paula Assis는 기업의 야망과 운영 준비도 사이의 괴리를 지적했다. 행사에서 발표된 IBM 데이터에 따르면, 경영진의 80%는 AI가 매출 성장을 견인할 것으로 기대하고 있으나, 그 성장이 구체적으로 어떻게 실현될지 명확히 설명할 수 있는 비율은 20%에 불과했다.

아울러 설문에 참여한 EMEA 지역 경영진의 80%는 이미 최소 한 건 이상의 AI 관련 문제가 이사회나 최고경영진(C-suite) 안건으로 상정된 적이 있다고 답했다. 이러한 마찰 요인에도 불구하고 더 높은 자율성을 향한 도입 속도는 빨라지고 있다. EMEA 지역 응답 경영진의 4분의 3은 2027년까지 AI 에이전트가 사람의 개입 없이 전체 비즈니스 업무를 완수하고 의사결정을 내릴 것으로 전망했다.

Assis 부사장은 기조연설에서 "이제 던져야 할 질문은 '과연 우리가 이를 대규모 환경에서 안전하고 신뢰성 있게 운영할 수 있는가?'이다"라며, "이는 기술의 문제가 아니라 운영의 문제이며, 근본적으로 다른 새로운 AI 운영 모델이 필요하다"고 강조했다.

거버넌스, 사후 대책이어선 안 돼

무대에 오른 업계 리더들은 자율형 에이전트를 도입하려면 모델뿐 아니라 기반 데이터와 핵심 인프라에 대한 통제력을 반드시 유지해야 한다고 강조했다.

프랑스 IT 서비스 및 컨설팅 기업 Atos의 글로벌 주권 부문 총괄인 Michael Nimhauser는 많은 기업이 AI의 잠재력에 매료되어 있지만, 운영 통제력을 상실할 수 있다는 불안감 역시 널리 퍼져 있다고 진단했다. Nimhauser는 프로젝트 마지막 단계에 통제 메커니즘을 덧붙일 수는 없다며, 설계 단계부터 시스템 아키텍처에 거버넌스를 내재화해야 한다고 역설했다.

영국 관리형 서비스 제공업체(MSP) Celerity의 CEO인 Craig Aston도 균형의 필요성에 공감했다. IBM의 파트너사이자 사내에서 IBM의 AI 기반 소프트웨어 개발 도구 Bob을 활용하고 있는 Celerity는 모든 AI 프로젝트에 대해 병렬 검토를 진행한다. 한 축에서는 비즈니스 가치와 투자 대비 수익(ROI)을 평가하고, 다른 한 축에서는 데이터 보안, 접근 권한, 리스크를 독립적으로 평가하는 식이다.

Aston CEO는 기업이 내부 혁신을 장려해야 하지만, 이러한 열정이 조직 내 안전장치를 우회해서는 안 된다고 지적하며 관리되지 않은 리스크는 기업의 생존을 위협할 수 있다고 경고했다.

사람의 개입(Human-in-the-loop) 유지해야

실제로 AI 에이전트를 실무에 적용 중인 조직들은 사람의 감독이 여전히 필수 불가결하다는 점을 깨닫고 있다. 영국의 보험사 Markerstudy는 약 30년에 걸쳐 구축된 핵심 레거시 시스템을 현대화하기 위해 IBM의 Bob 도구를 도입했다.

Bob은 4주 만에 600만 줄의 레거시 코드를 분석하고, 업데이트가 필요한 핵심 컴포넌트를 식별한 히트맵을 생성했다. 이를 통해 Markerstudy는 비용이 많이 드는 전체 시스템 교체 대신 표적화된 현대화 작업을 진행할 수 있었다.

Markerstudy의 Dan Fiehn 최고기술책임자(CTO)는 이번 구축이 완전 자율과는 거리가 멀었다고 강조했다. 분석 전 과정에서 사람 개발자들이 적극적으로 참여해 결과물을 검증하고 모델을 학습시켰다. Fiehn CTO는 단순히 가능한 한 많은 AI를 도입하는 것이 목표가 되어서는 안 되며, 고객과 직원의 의사결정을 개선하는 측정 가능한 성과를 제공하는 것이 주된 목표여야 한다고 역설했다.

소버린 및 통합 아키텍처로의 전환

늘어나는 통제 및 감독 요구에 대응하기 위해, IBM은 기업이 자체 AI 환경의 구축 및 운영 방식을 더욱 긴밀하게 통제할 수 있도록 지원하는 오픈소스 플랫폼인 Sovereign Core를 선보였다.

IBM 경영진은 데이터가 사일로에 고립되어 있고 IT 인프라가 파편화되어 있으면 AI 구축은 언제나 난관에 부딪힌다고 주장했다. Assis 부사장의 결론처럼, AI는 백오피스 지원 수단에서 기업 운영의 근간으로 전환되고 있으며, 기업은 사람의 워크플로우와 의사결정, 알고리즘 시스템이 대규모 환경에서 안전하게 상호작용하는 방식을 근본적으로 재고해야 하는 시점에 와 있다.