범용 AI와 특화 AI의 사이에서

https://zdnet.co.kr/view/?no=20250814105000

[인터뷰] 김계관 그리드원 대표 "LLM 만능 아냐…현장 맞춤 AI가 답이다"

요즘 AI에 대해서 이말저말 많은 와중, 요즘 기사에서 간간히 보이는 것 중 하나가 버티컬 AI다. 수직 AI. 수직이 있으면 수평도 있다. 범용 AI다. 그 사이에는 언제나 딜레마가 있다.

이전에 버티컬 AI의 한 축인 제조 AI에 대해 깐 적이 있다. 하지만 버티컬 전략이 잘못이란 건 아니다. 애초에 버티컬이든 호리즌탈이든 의미가 없다.

안 하면.

그래서 저번에 900만원짜리 서버로 AI 서비스 만든 사례도 가져왔다. 아무리 좋은 기술도 도입되지 않으면 쓰레기고, 아무리 작은 기술도 활용하면 유용하기 때문이다.

중요한 건, 하는 거다.


저 업체가 어떤 업체이고, 어느정도 기술력이 있는지 모르니 뭐라고 평가할 생각은 없다. 단지, 현장의 함정에 빠질 수 있어 첨언해본다.

AI 과제를 하는 입장에서 볼 때 현장중심형 과제는 매우 위험하다. 왜냐하면 기본 뼈대가 되는 기술이 아닌 곁가지로 빠지기 쉽기 때문이다. 까딱 잘못하면 현장에 맞춘 결과 하나 보여주기 위해, 내부는 얼기설기 짜맞췄을 뿐인 결함품이 될 수도 있다. 그렇게 되면 사실 현장에서도 못 쓴다. 조금만 상황이 바뀌면 안 맞기 때문이다.

AI에는 오버피팅이란 개념이 있다. 당장 눈앞의 데이터를 설명하기 위해 과도하게 맞추면, 정작 실제 사용할 때 나타나는 다른 데이터들에는 맞지 않는 모델이 되는 것을 말한다.

예를 들면 기상예보를 위해 데이터를 수집했는데, 프로젝트 기간이 6개월밖에 안 되서 여름 동안에만 수집했다면 어떨까. 당장 그 해 겨울에 하나도 안맞게 될 거다. 그럼 1년을 하면 괜찮나? 아니다. 해마다 양상이 바뀌는데 그렇게 되면 또 금방 안 맞게 된다.

LLM도 마찬가지다. 그 상황 상황마다 사람이 물어보는 것도, 원하는 것도 달라진다. 그런데 단기간 투입되어 그 기간동안의 데이터만 가지고 뭔가 해도, 당장 다음 달, 다음 해 가면 안 맞을 수 있다. 그런데 더 심각한 문제가 있다.

보통 과제기간 중 8할은 시스템 설계, 구축, 테스트하는데 다 쓴다. 그 전까지는 실제 데이터를 모을 수가 없다. 시스템이 없으니까. 그래서 보통 '아마도 이렇게 쓰겠지'라고 예상하며 데이터를 만든다. 이러면 전혀 특화 데이터가 아니다.

또 하나의 문제는, 고객이 어떻게 시스템을 써야할지고 모른다는 것이다. 그러면 고객이 기존에 보유하고 있던 자료들, 간접적인 데이터들도 무쓸모다. 보고서같은 고객 문서를 작성해주는 AI를 만든다 치자. 그럼 그 문서를 만들기 위해 어떤 자료를 참고해야하고, 사용자는 어떤 정보들을 어떻게 넣어주고, 만들어진 결과의 품질을 어떻게 판단할수 있는지 고객이 제시를 못한다.

서비스를 이용해야 할 당사자가 입출력을 정의 못하니 당연히 만들어진 시스템은 사용하기 어렵다. 고객의 워크플로우에 맞지 않기 때문이다. 실제로 써보며 trial & error 로 하는 것더 어렵다. 써보려면 개발이 끝나야하는데, 개발이 끝나면 이미 과제 기간도 끝나기 때문이다.

미래가 문제가 아니라 당장이 문제다. 실제 워크플로우에 맞지도 않은 데이터에 과적합한 모델을 특화 모델이라며 서비스를 내고 있는 판국이다. 그런데 그렇게 해서 만든 기술을 다른 데에서 쓸 수 있을까?

어림없다. 왜냐면, 바로 그 고객사에만 특화해서 과적합 한 모델이니까.

그럼 과제 할 때마다 기술과 성과는 리셋되고 회사에 축적되는 건 없게 된다. 그나마도 보통 데이터와 모델을 다 두고오니 더욱 쓸모가 없다. 해가 갈수록 고객들의 눈높이는 높아져만 가는데 그걸 맞춰주려니 매번 제로 베이스로 구축해야한다.

그럴 바에는 고객 당사자가 직접 자신의 것을 구축하는 게 났다.


LLM은 만능이 아니며, 특히 국내 기술은 매우 취약하다. 당연히 범용으로 완벽한 모델을 만드는 건 불가능하다. 챗GPT 5가 요즘 욕을 잔뜩 먹고 있지만, 우리나라는 5가 아니라 5 mini 따라가기도 벅차다. 당연히 특화 AI를 개발해야 한다. 그런데.

특화 개발한다는 현장이 이 모양이니 될 수 있을 턱이 없다.

언제나 AI는 과적합과 일반화의 사이에서 치열하게 고민해야 한다. 너무 데이터를 잘 맞추려고 하면 과적합되고, 일반화를 고려하면 학습 결과가 뭉개져 애매한, 항상 부정확한 결과만을 낸다. 어느 한쪽만으로 할 수 없고 그 사이에서 적절한 선을 찾아야 한다.

비즈니스도 마찬가지다. 특화라고 하면 말은 그럴싸하지만 시장에서의 확장성이 없는 것이다. 반대로, 범용성을 추구하면 모든 걸 잘해야한다. 이미 빅테크들의 범용 모델들이 너무 강해서 힘들다.

하지만 애초에 LLM만에 집중하는 것도 잘못이다. 더 중요한 건 워크플로우에 맞는 서비스다. 보통은 LLM이 한번 뚱땅 해서 완벽한 결과물을 만들딘 못하며, 업무의 맥락을 알 길이 없는 AI모델과 파이프라인에서는 그 일이 뭐고 중요한게 뭔지를 사람이 알려줘야한다. 그래서 사람도 동시에 AI로 작업하는 데 훈련이 필요하다.

그런데 AI서비스가 없는 데 AI와 작업하는 구조를 설계할 수는 없다. 따라서 먼저 서비스가 도입되고 맞춰나갈 필요도 있다. 그런데 대부분 AI사업은 나름 큰 포부를 가지고 시작하고, 비용도 엄청나고, 그만큼 기대치도 높다. 당연히 그 기대를 맞추려면 높은 성능 기준치가 들어가고 사용자 반응도 좋아야한다. 그러다보니 기초적인 모델과 서비스부터 들어갈 수가 없다. 고작 이거하려고 그돈 들였냐가 나올거고, 따라서 담당자는 더 준비가 되기 전에는 공개하고 싶어하지 읺기 때문이다.

서비스를 런칭해야 성능을 올릴 수 있는데 성능이 부족해 런칭을 못하는 악순환이 발생한다.

해결 방법은 간단하다.

작게 하고, 범용적인 것 부터 시작하는 것이다...


우리가 아무리 모델을 잘 만들어도 오픈AI같은 선두주자의 결과의 80% 따라가기도 힘들 것이다. 당연히 범용모델을 목표로 잡으면 실패한다.

하지만 현장현장 따지는 것도 실패의 지름길이다. 당장 그 현장에 있는 사람이 하겠다면 OK, 하지만 그게 아니라면 기본기부터다.

우리는 기본이 안되어있다. 그리고 기본도 할 게 까마득하게 많다.

대부분의 사람들이 AI를 모른다. 아는 사람도 자신의 워크플로우에 AI를 적절히 혼합하여 워크플로우를 완성한 사람은 드물 것이다. 먼저 필요한 건 그거부터다. 아는 사람이, 그걸 잘 사용할 수 있게 되어야, 그것의 전파가 가능하다. 그리고 전파하려면,

AI가 일을 대신 해 주는 게 아니라 AI와 함께 일을 해나가는 방법을 만들어야한다. 반대로 생각하면 명확하다.

만약 지금 우리에게서 컴퓨터 또는 인터넷이 갑자기 사라진다면, 그저 일이 조금 느려질 뿐 하는 방식은 달라지지 않을까? 어림없다. 당장 대혼란이 일어날 것이다. 왜냐하면 우린 이미 수십년 간 그걸로 일을 하도록 하는 워크플로우를 만들어놨기 때문에, 그거가 갑자기 사라지면 일하는 방식 자체가 다 뒤엎어지기 때문이다.

개인용 컴퓨터가 처음 나온게 애플 매킨토시 1984년이고, 국내에 본격적으로 대중화되기 시작한게 윈도우 95와 세진 컴퓨터랜드가 흥했던 90년대 후반이다. 지금 거기에서 2-40년이 지났고, 그만큼 엄청나게 많은 오피스용 도구들이 만들어졌다. 그리고 우리는 그 이전을 상상할 수 없을 만큼 일하는 방식이 변했다.

그러니까 우리가 지금 컴퓨터를 쓰는 것 처럼 AI를 쓰려면 최소 10년은 더 걸린다.그리고 그 10년은 우리에겐 기회의 시간이자, 그걸 못 따라가면 어마어마하게 뒤쳐질 수 있는 위기의 시간이기도 하다.

닷컴 버블 이후로 인터넷 사업이 얼마나 많이 컸나. 거기에서 세계 최고의 기업만이 수익을 올린 게 아니라 그 플랫폼들 위에서 무수히 많은 사업들이 탄생하고 많은 돈을 벌었다. 현대판 골드러시였다. 하지만.

만약 아직까지도 컴퓨터를 산업에 도입하지 못한 나라가 있다면 어떨까? 그게 10년 후의 우리나라가 될 수도 있다.


다시 원글로 돌아와서.

중요한 건 기술의 축적이다. 저 기사에 나온 업체처럼 작은 영역부터 기술확보하는 거, 대단히 중요한 일이고 좋은 전략이다. 이것저것 다 하려다 아무것도 못한다. 하지만.

주관이 필요한 것이다.

좋은 제품이 있으면 고객은 거기에 자신의 워크플로우를 맞추기 마련이다. 우린 모두 ms office에 맞춰서 일하지 않나. 노션이 좋다고 하니 마크다운을 배우고, 슬렉이 좋가니 거기에 맞춰 커뮤니케이션 전략을 바꾸지 않나.

고객에, 현장에 맞춰줘서는 안된다. 왜냐하면 거기는 AI가 없는 곳이기 때문이다. AI없이 일하도록 짜여있기 때문이다. 도메인을 반영하되 주체적으로 기술을 정의해야 한다. 그걸 고도화시키면 고객은 따라오게 되어있다.

그럴 만한 완성도를 만들어야 한다.


우리 회사는 AI서비스를 구축해준다. 근데 정작 우리회사 내부에도 챗봇이 없... 아니, 이제 생겼는데 우리가 만든데 아니다. 적어도 현장 나가며 그 애셋을 내가 본 적이 없다.

식당 주인이, 자기가 먹지 않는 음식을 팔고 있다.

맛이 있을리가 없다.

그러면서, 그걸 상대방 입맛을 맞춰줬다고 하면 안 되는 거다.