AI는 운영체제... 데자뷰가 느껴진다... 설마...

https://n.news.naver.com/mnews/article/023/0003927714

카카오 CTO “AI 모델 경쟁 아닌 운영체제처럼 활용해야”

저 댓글이 사실이 아니길 바란다. 맞다면 정말 대책이 없다.

현재의 LLM은 OS에 비유하는 게 이해가 된다. 점점 자가 모델을 만들기보다 타 모델의 API위에서 서비스를 개발하는 추세로 가고 있기 때문이다. IT 서비스 기업인 카카오가 그렇게 진단하는 것도 이해가 된다. 근데 그래서.

OS는 우리가 하는 거 아니다, 라고 하진 않겠지?

마이크로소프트는 처음부터 빅테크였나? 오픈AI도 스타트업이었다. 지금은 시장에 리소스가 어마어마하게 많다. 지금은 개인들도 좀 고성능 컴퓨터 하나 갖추면 소형모델은 직접 튜닝해볼 수 있는 시대다. 큰 물에서 놀 역량이 안되면 작은 물에서 영역을 만들면 된다. 오히려 빅테크들이 두려워할 게 그거다. 1B 언저리의 SLM의 성능이, 일반인들이 충분히 사용할 만큼 고성능이 되면? 혹은 하드웨어의 발전으로 개인 컴에서 30B 수준의, 혹은 그 이상의 모델이 돌게 되면? 빅테크들은 그보다 더 차별화된, 고도화된 서비스를 만들지 않고서는 경쟁이 안 되기 때문이다.

그때 가서 해외의 스타트업이 치고 올라올 때, 이럴 줄 몰랐어 할 건가? 그게 전략이라고 한다면.

대체 뭘 위해 그 비싼 월급 받아쳐먹고 있나.

왜 내가 민감하게 반응하게 되냐는, 이전에 비슷한 경험이 있었기 때문이다. 회사의 리더라는 사람이, 한창 기술이 발전할 때 기술 성숙도가 아직 낮고 빅테크들이 주도하는 판이니 우리는 다 만들어지면 가져다 쓰자라고 나왔었다. 그때는 그게 타당하다고 생각했다. 하지만 그 가져다 쓰는 것도 거져 되는 게 아니란 걸 알았다. 그때 적극적으로 기술 팔로업 안하고 전문가 육성 안하고 그 가져다 쓸 애셋들 개발 안한 결과, 내가 힘들어졌다. 연구직인 내가 현장 끌려가고 있지도 않은 기술 팔아먹으려 이빨 까야했고 안되는 거 만들어줘야 해서 머리 싸매야했다.

정작 연구조직에서 나름 한 성과들도 현장으로 안 이어지고 나가리됐다.

그렇게 된 게, 그 당시 전략이 없었기 때문임을 지금 알았다. 막연하게 기술 발달하면 갖다 쓰면 되지가 얼마나 무식한 발상인지 지금 알았다. 갖다 쓰는데도 엄청난 전략과 준비가 필요하다. 그런데 위에서 그런거 쥐뿔도 생각 안하고 있었던 걸 지금 알았다.

이해는 간다. 기술을 모르니까 전략도 못 세우지. 나는 사업 돌아가는 판을 몰랐고.

하지만 그러니까, 저런 말을 하는 사람을 의심할 수 밖에 없다. CTO라 기술을 잘 안다고? 어림도 없다. 나도 당장 몇달 코딩 안하면 못 쫓아가는데, 몇년은 현장기술 안했을 임원이 어떻게 기술 팔로업을 하나. 그러니까 임원은 더 큰 그림을 그리고 밑에 사람들 이야기를 더 들어야 한다. 그런데 내가 본 임원은, 신기술 해봐야한다는 목소리에 대해 이래이래서 안돼라는 변명만 하는 모습이었다.

임원이라고 완벽한 사람이 아닌 건 안다. 틀릴 수도 있고 부족할 수도 있지. 하지만 그때 미리 준비 못해서 이 꼬라지가 났으면 대책은 세워줘야지. 당장 장사 잘 되도 현장이 다 터지고 있는데 그냥 놔두는 게 말이 되나? 그런 리더 밑에서 야근을 왜 할까. 어차피 그렇게 해서 난 성과도 금방 흩어져 사라질 뿐인데. 깎여나간 생명력은 영원히 남고.

그러니까 비전을 제시 못해주는 리더는 능력있는 사람일수록 빠르게 떠나는거다.


" AI를 단순한 기능이 아니라 운영 체제의 레이어로 봐야 한다고 했다. “(우리가 참여할 수 있는 경쟁인가라고 볼 때) LLM(거대언어모델)을 처음부터 개발하는 모델 경쟁은 이미 다른 차원의 이야기가 됐다”며 “국가 차원의 총력적 양상을 띠기 때문”이라고 지적했다."

그래서 국가 총력전 하잖아. 거기 5개 기업에 못 들어갔다고 GG치는 건가? 그래, 그건 그럴 수 있다. 하지만 아무도 LLM을 처음부터 개발하라고 하지 않았다. 그럴 필요도 없다. 있는 모델 파인튜닝만 해도 고성능 뽑아낼 수 있다. 카카오 정도 볼륨이 되는 기업이라면 적어도 그 정도는 해야 한다. 100B 정도 되는 모델 파인튜닝하고 서빙할 정도는 해야한다.

그래야 그게 OS는 가져다 쓰는 수준이 된다. 남의 API 갖다 쓰는 수준은 컴퓨터 아무것도 모르는 일반인이 윈도우 깔아 쓰는 거랑 똑같다. 그런건 기술이라 하지 않는다.

왜 저게 필요하냐면, 파인튜닝을 할 수 있고 없고는 할 수 있는 서비스의 규모와 볼륨이 차원이 달라지기 때문이다. 프롬프트 엔지니어링 만으로 모든거 다 할수 있다? 환상이다. 안해본 놈들만 할 수 있는 헛소리다. 시스템 프롬프트에 사람도 다 읽을 수 없는 규제가 몇 페이지씩 쌓이면 서비스 할 수 있겠나? 도메인 들어가면 그렇게 해도 답변의 제어가 안된다. 길게 쓰면 쓰는 만큼 규제조항이 씹힌다.

하다못해 LoRA라도 튜닝할 수 있어야한다. 앞으로 더 발전된 어댑터 기술이 나올테고 그걸로 LLM의 기능들을 규제하고 답변 스타일이나 특성을 제어하는 기술들이 잔뜩 나올 것이다. LLM의 메모리 기능도 연구되고 있는 걸로 알고 있다. 그런 걸 할 수 있는 놈과 할 수 없는 놈은 하는 게 천차만별이 될 것이다.

그리고 그걸 하려면 실제로 LLM을 서빙해보고, 실데이터를 모으고, 자체 서비스들을 활발하게 개발하고 있어야한다. 근데 안하고 있잖아. 사내에서는 하고 있나?

저 말이 내가 3-4년 전 부터 듣던 임원들의 고질적인 변명이다. 그래, 그래서 뭘 안하겠다는 알겠어. 근데 뭘 할건데? 우리가 월클의 대박 무언가는 안하는 거 이해해. 그래도 국내에서는 나 이거했다 내세울 만한 건 제시해야 할거 아니야.

그거도 내가 제시해야해?


" “윈도우나 iOS, 안드로이드를 직접 만들지 않고 이를 활용해 독창적인 애플리케이션과 서비스를 만들듯이 이를 튜닝하고 커스텀 할 수 있는 역량에 집중하는 것이 더 현명한 전략”이라고 설명했다."

역량확보. 좋은 이야기다. 그래서 그 역량의 실체가 뭔가.

내가 그 지난 몇 년 전에, 회사의 핵심 전략은 현장의 문제를 풀 수 있는 전문가 역량을 갖추는 거라고 들었다. 그때는 그게 그럴싸하게 들렸다. 개소리였다.  내가 아는 잘하는 사람들이 줄줄이 퇴사하던데? 그럼 몇 년간의 노력이 수포로 돌아갔네?

회사의 역량은 그런 게 아니다. 애셋과 워크플로우와 시스템이다. 그리고 그건 뭐든 제품으로 나와야한다. 내부용이든 외부용이든, 물건이든 프로그램이든 서비스든. '사람이 자산이다' 같은 건 '난 시장에 먹힐 제품을 설계할 능력이 안돼'와 동의어다. 튜닝하고 커스텀할 수 있는 역량? 어떤 제품, 어떤 서비스를 위해 튜닝하고 커스텀할 수 있는 역량을 말하는건가?


"지금이 2000년대 초반 인터넷 시장 경쟁이 일어나던 시기의 모습과 비슷하다고도 했다. “(당시) 모두가 네트워크 망을 깔고 데이터센터를 짓는 인프라 경쟁에 열을 올렸지만, 진정한 승자는 그 인프라 위에서 콘텐츠와 서비스를 만들어낸 구글, 아마존, 페이스북과 같은 기업”이었다는 것이다."

아니다. 무슨 헛소리야.

구글이 데이터센터가 얼마나 많은데? 아마존의 유통 인프라가 얼마나 어마어마한데? 페이스북은... 그래서 페이스북 열풍 지나가고 폭망해서 지금 메타로 재기하려고 열내고 있잖아?

이들이 인터넷 인프라 위에서 큰 건 맞다. 하지만 그 인프라에 붙어먹기만 하는 게 아니라 별도의 엄청난 인프라를 확보하며 확장해 나갔다. 새로운 제품과 서비스를 끊임없이 내 왔다. 실패를 해도 먼저 나가서 실패했다. 그리고 지금은 구글과 페이스북은 LLM을 선도하는 빅테크들이다.

네이버 카카오도 나라가 깔아준 엄청난 인프라 위에서 컸다. 그런데, 그러니까 거기에 안주하겠다고?

인프라 깔던 곳들은 망했을까? 무슨 소리. 국내 초고속 인터넷 망을 설치했던 정권은 그 업적이 영원히 남았고, 그걸 설치하며 발전한 통신 3사는 국내를 주름잡는 대기업들이다. 해외도 다르지 않다. 소프트뱅크는 일본의 대표적인 통신사고 그걸로 번 돈을 수많은 테크기업 육성에 쏟고 있다. 미국도 어디도 통신사들은 다 강대한 세력들이다.

IBM에 도스 납품하던 하청업체였던 마이크로소프트도 제국 취급받는 거대기업이 되었고, 구글도 인터넷 제국의 새로운 인프라였다.

인프라에 올라탄 이들이 성공한게 아니다. 인프라를 장악한 이들이 성공한다. 스팀이 성공한 것도 게임유통의 인프라다 되었기 때문이고 애플 역시 애플 제품들과 앱스토어 생태계를 자기들만의 왕국으로 만들었기 때문에 성공한거다.

콘텐츠와 서비스를 만드는 거야말로 카카오가 아니라 중소 업체들이 들어와 해야하는 일이다. 왜 니들이 해외 빅테크들의 인프라에 끼어들어가려 하나.


기사 하나로 카카오와 저 사람의 전략을 모두 파악할 수는 없다. 실제 발표에는 좀 더 디테일하고 확고한 비전이 제시되었는데 기자가 놓쳤을 수도 있다. 하지만 일단 겉으로 보기에 저런 부분이 우려된다는 것이고, 이러한 경향이 주변에서 많이 보여서 글을 쓰는 것이다.

본문에 나온 것 처럼 AI를 단순히 도구로 쓰려는 시도는 실패하고 있다. AI를 활용하려면 AI를 이해하고 AI와 협업하는 스킬이 필요하다. 그리고 그건 일선 개발자와 직원들 뿐만 아니라 경영진과 임원들, 리더들도 고려해야할 문제다. 이들은 단순히 AI를 잘 쓰고 끝나는 게 아니라, AI와 어우러진, 그것을 생산력으로 이어나갈 수 있는 시스템을 설계해야 하는 사람들이고 그걸 제시해야 하는 것이다.

네이티브 모델을 만들고 말고는 중요한 게 아니다. 그런데 그걸 만들지 않는 이유가, 지금 기업 규모가 스케일이 작아서, 시장이 경쟁이 빡세서가 되면 안된다는 것이다. 기업은 '안하기 위한 조직'이 아니다. 국가라면 그럴 수 있다. 왜냐하면 국가는 국가 내부의 거의 모든 문제에 책임이 있고 관여할 수 있기 때문에, 무언가를 안한다면 그 이유가 필요하다. 하지만 기업은 아니다. 기업은 뭔가를 하기위한 조직이다. 그럼 뭘 할지를 제시해야지 뭘 안할지를 제시하면 안 된다.

그리고 네이티브 모델, 못할 이유가 뭐 있나. 인프라 구축, 왜 못하나. 둘다 스타트업들도 하는 일들인데 왜? 그냥 큰 돈 쓰고 수익으로 이어나갈 자신 없다는거 아닌가.

우리나라 기업들은 그런 식으로 이거도 못하고 저거도 못한다 말이 많다. 그래서 신기술이 나와도, 새로운 시장을 개척해도, 거기에 다른 경쟁자들 다 들어와 레드오션을 넘어 블랙이 되어야 그제서야 움직이며, 밑의 사람들에게 그거 안하고 뭐했냐고 한다. 뭐했긴, 니들 시키는 거 했지.

근데 미국 사업 보내는 건 여행자 비자로도 잘만 보내서, 애꿎은 직원들 불법 체류자 만드는 건 또 하네? 저건 법적으로 안되는 건데 왜 저건 또 핑계 안 대고 했대?

기업가 정신은 새로운 사업에 도전하는 정신이지 직원들 불법에 도전시키는 정신이 아니다. 정신차려라.