AI가 망하는 이유

https://zdnet.co.kr/view/?no=20251027085611

생성형AI 투자 기업 95%가 수익 제로…이유 살펴봤더니

 

내가 봤을 때는 본질은 아니다.

 

저 기사의 내용은 학습 만능론에 빠질 우려가 있다. 어떻게든 학습만 하면 더 나아질거야... 라지만, 어림없는 소리. 제대로 된 데이터를 수집하고 이를 학습에 반영하는 데에는 엄청난 전문가 인력과 기술이 필요하다. 그거 없이 대충 데이터 때려박으면 모델 망한다. 차라리 프롬프트만 만지는 것 만 못하다.

 

하지만 그렇다고 저 리포트가 의미없는 건 아니다. 중요한 건.

 

AI 기술이, 아니, 기술이란 것 자체가 워크플로우와 제대로 결합해야 한다는 것이다.

 

 

본질적으로 우리는 인정해야 한다. AI는 완벽하지 않다. 일은 사람이 하는 거다. 경영자들은 AI로 사람을 모두 대체하고 인건비를 대폭 절감하고 싶겠지만, 그건 망상이다. 기업의 회계 담당이 AI 도입을 결정하게 하지 말라. 실제 업무를 하는 담당자가 AI를 결정해야 한다. 적당히 돈을 주면 바깥의 AI 전문가가 당신의 시스템을 업그레이드 해줄 걸로 생각하지 마라. 당신이 직접 뛰며 고생해야 그만큼 AI가 가치를 한다.

 

본질적으로 도구란 건 그런 거다.

 

학습이 필요하다고 하는 건, 위와 같은 그런 사고방식 없이 막무가내로 만든 시스템으론 도무지 워크플로우에 맞출 수 없기 때문이다. 근본적으로, 도입된 모델이 내가 필요로 하는 그 어떤 기능도 수행할 수 없게 도입되기 때문이다. 학습이라도 되어야 조금이라도 Align 가능하기 때문이다. 그런데 학습? 아무나 하는 거 아니다. 모든 AI 모델은 데이터에 조금이라도 오류가 있으면 모델이 깨질 위험을 동반한다. 그걸 지속적으로 모니터링하고 관리할 능력이 있어야 학습을 할 수 있다. 그러려면 전문가가 있든지, 전문가가 필요없을 만큼 잘 갖춰진 시스템이 있어야 한다. 대개는 둘 다 있어야 가능하다. AI 전문 기업이 아니고서는 쉽지 않은 일이다.

 

따라서 기업에서 AI 시스템을 도입할 때 잘 되려면 현업의 담당자, 실제 그 AI를 써서 일을 할 실무자가 직접 써보며 워크플로우를 명확히 정의하여, 거기에서 AI 기술이 할 수 있는 영역을 정확히 파악해 적용해야 한다. 그런데 우리나라는 대부분의 AI 사업이 워터폴로 이루어진다. "이거이거 해주세여~" 하면 과제를 딴 SI 기업이 그때 가서 분석한다.

 

하지만 이미 과제를 땄기 때문에 그게 불가능하더라도, 그게 비효율적이더라도, 그게 해봤자 쓸모 없더라도, 해줘야 한다.

 

그리고 과제가 끝나면 이미 돈 받을 거 다 받았기 때문에 끝이다. 

 

100% 실패하는 스토리다.

 

발주하는 조직도 단발성 과제로 이를 발주하기 때문에, 정작 이걸 써보면서 '어? 사실은 진짜로 필요한 건 저거였는데'라고 후회해봐야 아무 의미 없다. 실제 사용할 조직과 과제를 책임지는 조직이 다르기 때문에 더더욱 관심없다. 상부에서는 이미 AI 도입했다 기사가 나갔기 때문에 끝난 이야기다.

 

직원 90%는 개인 AI 도구 사용, 회사는 40%만 구독

 

당연하다. 직원이 직접 고르는 AI 도구는 대부분 빅테크의 고도화된 AI 도구다. 기업이 도입 가능한 건 대개 On-prem이다. 온라인이 가능했으면 기업은 따로 도입도 할 필요 없다. 알아서들 쓰겄지... 하면 끝. 하지만 On-prem 구축하려면 성능이 엄청나게 빡세다. 고성능 내려면 그만큼 GPU 투자도 많이 하고 대형 모델 써야하고, 그럼에도 ChatGPT니 Gemini니 하는 수준 못 따라간다.

 

그런데 개인이 도입한 건 자기 업무 스타일에 맞춰서 최대한 활용한다. 하지만 회사는 다수의 직원이 공통적으로 필요한 핵심적인 필요성을 달성해야 한다. 사람마다 도구를 사용하는 스타일도 다르고, 도구를 쓰는 데 능숙하지 않은 사람도 허다하다. 그런데 기업은 대개 표준화된 프로세스조차 없는 게 태반이다.

 

결국 실무자의 업무 프로세스에 맞출 수 있어야 도구는 의미가 있다. 그러려면 조직이 실무를 디테일하게 파악하며 동시에, 어느 정도는 AI에 맞춰 프로세스를 재정립할 필요도 있다.

 

중세 대장간에 현대의 컨베이어 벨트를 도입한다고 해보자. 기존의 장인들의 실력을 최대한 살릴 수 있게 시스템을 갖춰야 할 것이다. 하지만 장인들이 하는 역할을 바꾸지 않고 자동화는 불가능하다. 양쪽 간에 제대로 절충하지 않으면 결국 도입한 컨베이어 벨트에는 먼지만 쌓이고, 장인들은 그 컨베이어 벨트 옆에서 예전 방식으로 쇠를 두들겨 제품을 만들 것이다.

 

 

외부 파트너십 67% 성공, 내부 개발은 33%

 

헐, 외부 파트너십 67%가 성공했어? 진짜루?

 

성공한 조직들은 AI 스타트업을 소프트웨어 벤더가 아니라 BPO처럼 대우하며, 내부 프로세스에 맞춘 깊은 맞춤화를 요구하고, 모델 벤치마크가 아닌 운영 결과로 평가하며, 중앙 연구소가 아닌 현장 관리자로부터 AI 프로젝트를 소싱했다. 이러한 파트너십은 종종 더 빠른 가치 실현 시간, 더 낮은 총비용, 운영 워크플로와의 더 나은 정렬을 제공했다.

 

참고로 BPO는,

 

BPO는 '비즈니스 프로세스 아웃소싱(Business Process Outsourcing)'의 약자로, 기업이 핵심 업무를 제외한 특정 업무나 전 과정을 외부 전문 업체에 맡기는 경영 전략입니다. 이를 통해 비용을 절감하고, 운영 효율성을 높이며, 기업이 핵심 역량에 집중할 수 있게 합니다.

 

위를 보면 알 수 있다.

- 외부 파트너십이 내부 업무 프로세스와 밀접하게 연결되도록 구성 (BPO처럼 대우)

- 모델 벤치마크가 아닌 운영 결과로 평가 -> 도입 조직이 실질적인 성과 평가를 할 수 있는 방법론을 보유

- 현장 관리자로부터 AI 프로젝트 소싱 -> 현장의 실제 문제 중심의 AI 프로젝트 진행

 

우리나라의 AI 사업은 현업 -> 도입 조직의 IT/AI 부서 -> 외주사 -> 외주 협력업체 의 단계로 매우 머나먼 경로로 현업과 AI가 연결된다. 잘 안 되는게 당연하다.

 

그리고 난 소프트웨어 벤더가 나쁜 전략이라고 보지 않는다. 위와 같은 방법의 문제는 해당 기업에 완전히 특화된 AI 서비스만을 구축 가능하다. 따라서 비용을 도입 조직이 전적으로 져야 한다. 내용을 보면 외주 대상이 AI 스타트업이다. 대기업과 같은 조직이 아예 품을 수 있는 구도에서 성립한다. 조만간 본격적으로 빅테크들이 소형화된 범용 AI 서비스를 제품으로 출시하기 시작하면 소프트웨어 벤더로서의 성공 모델이 나타날 것이다. 그건 스타트업으로서는 할 수 없는 영역이기 떄문에 지금은 나오기 힘들다. 하지만 대기업은 이 방향으로 가야한다. 그렇게 해서 더 저렴하게, 범용 기능을 고객이 직접 사용해 볼 수 있게 하고, 스스로 AI를 포괄하는 업무 프로세스를 정의할 수 있도록 해야 하며, 이를 기반으로 추가적인 고도화 사업을 하는 게 맞다.

 

예산은 영업에 쏟지만 실제 ROI는 백오피스에서 나온다

 

그러게? 왜 아무도 이걸 안 하지? 헐... 적어도 내가 아는 중에는 이걸 대상으로 한 프로젝트는 들어보질 못했다.

 

내가 AI가 가장 고픈 분야는 더러운 회사 내부의 ERP/Office 시스템이다. 그리고 그걸 가이드하는 챗봇이다. 해당 챗봇은 구식 방식의, 정해진 답을 골라 제공하는 형태로 되어 있기 때문에 매우 상황에 부정확하고, 내부 ERP/Office 시스템은 메뉴가 어마어마하게 많으며 복잡하여 뭐가 뭔지 알 수가 없다. 반면, 현재 웹 서비스의 상당수는 LLM 챗봇을 통해 통합되는 추세다.

 

기초적인 RAG 챗봇에 ERP 메뉴얼만 넣어 적용해도, 업무 문의처만 자동으로 찾아줄 수 있게 해 줘도 회사 내 행정 업무는 획기적으로 변할 것이다. 그런데 그것의 도입 비용은? 기초적인 RAG 챗봇은 이미 기술이 전부 오픈소스로 상용화 되어 있다. 실제 참조 문서를 보여준다면 LLM 도 대단히 대형 모델을 쓸 필요도 없다. 그리고 RAG 시스템에 맞춰 데이터를 축적하기 시작하면 나중에 고도화하고 업무 분야를 확장하는 것도 쉽다.

 

  학습하는 AI가 답이다, 18개월 내 판도 결정

 

아니다. 학습하는 AI가 답이 아니다. 다만 업무시스템의 정의, 그리고 데이터를 축적하는 프로세스가 이 시기에 정립될 것이고, 이건 한 번 도입하면 바꾸기가 대단히 어렵다. 왜냐하면 데이터를 전부 새로운 시스템에 맞춰 포팅해야 하는데 그것의 검수, 그 과정에서의 데이터 손실 등을 모두 트래킹하고 관리하는 건 어마어마한 비용이 들기 때문이다.

 

그러니까, 그렇기 때문에, 지금 필요한 건 학습이 아니다. 데이터를 구조화하는 프레임워크다. 그리고 그게 있으면 시장을 선점할 수 있다. 그리고 그게 없으면 뒤쳐진다. AI 기업이라면 당장 학습할 수 있는 시스템을 구축하지 못해도 데이터를 축적할 방법론에서 비전을 제시해야 하고, AI를 도입하는 고객 기업이라면 당장 어떤 기능 되고 말고에 휘둘리지 말고 어떻게 데이터를 축적해야 할지를 고민해야 한다.

 

18개월? 대단히 관대한 기준이다. 재작년부터 지금까지 이미 이에 대한 틀이 잡혀있었어야 했다. 내년은 그 프레임워크가 실제로 도는지 증명해야 할 시기다.

 

고객 기업은? 지금 자잘하고 애매하게 구현해 놓은 기능 하나하나, 나중에 다 쓰레기 될 가능성이 높다. 다만 전부 손절치고 빅테크들의 솔루션 나오면 그걸로 다 갈아타는 것도 방법이긴 하다. 하지만 기억해라. 손절치고다.

 

결국 AI가 학습과 개인화로 가는 건 당연한 방향이고, 장기적으론 반드시 필요하다는 데에는 동의한다. 지금 당장 자원도 기술도 안 되는데 학습에 집착하면 안 된다는 의미다. 보통 On-prem 환경에서 개별 사용자별로 모델을 학습해 서빙할 자원도 없다.  그보다 학습 가능한 프레임워크가 필요하다. 그냥 사용자 데이터 다 긁어모으면 장땡이 아니다. 사용자 데이터는 정크의 산이다. 심지어 개인정보 등 법적인 부분에 걸리면 그거 모아놓을 방법도 없다. 개인 RAG도 시스템적으로 구현은 해 놓고 있지 않으면 나중에 붙이기 힘드므로 AI의 파이프라인 설계부터 이를 반영해 놓긴 해야 한다.

 

 

 

워크플로우를 분석하라는 건 엄청 디테일해야 한다. 실제 직원들이 어떤 업무에 주로 시간을 쓰고 있고, 이를 어떻게, 얼마나 줄일 수 있는지, 보틀넥이 어디인지 파악부터 해야 한다. 대충 뭐 되면 좋겠네... 라는 마음가짐으론 어림없다.

 

하지만 대개의 경우, 실무자들에게 필요없거나 중요하지 않은 기능을 개발하는데 시간을 쏟거나, 필요하지만 안되는 기능을 요구하거나, 필요하고 할 수 있지만 거기 맞는 데이터가 없어서 못하는 경우가 허다하다. 때론 필요하고, 할 수 있고, 데이터도 있는데, 그 데이터를 AI가 처리하기 좋은 방식으로 바꾸자니 자기들 업무 프로세스가 바뀌는 것 때문에 니들이 어떻게든 해봐로 우기는 경우도 허다하다.

 

어느 쪽이든 프로젝트가 망하는 길이다.