AI Agent의 환상, 혹은 거짓말

https://zdnet.co.kr/view/?no=20251228085643

"AI로 인건비 줄이려다 비용만 늘어"…뼈아픈 ‘도어맨 오류’

 

내가 누누히 말해온 이야기다.

 

AI는 대체제가 아니다. 보조기다. AI로 추구해야 할 건 무인화된 시스템이 아니다. 사람의 능력의 Augmentation 이다. 증강이다. AI가 지적인 일을 대신해 주지 않는다. 그 복잡한 Workflow를 모두 AI가 수행할 수 없고, 그 단계단계마다의 정합성과 무오성을 보장할 방법이 없다. 결국 사람이 관리해야 하고 제어해야 한다. 우리가 해야 할 건 AI를 통한 인간의 대체가 아니라 인간의 최소한의 개입만으로도 복잡한 작업을 극대화하고 인간의 일을 더 쉽고 간단하게 만드는 것이다.

 

그런 진실을 외면하고 AI 기업들이 뿌리는 환상에 홀려 무작정 AI를 도입하려고 하면 그 결과는 업무의 품질 하락이다. 그로 인한 제품과 서비스의 경쟁력 약화와 기술부채의 증가다.

 

왜냐하면 현재 AI의 성능이 구리기 때문이 아니라, 일을 하는 건 언제나 사람이기 때문이다. 아무리 훌륭하고 완벽하게 자동화된 공장이라도 그것이 생산하는 제품이 정크라면 아무런 가치가 없다. 다른 지적인 일들 역시 마찬가지다. 다크 팩토리가 가능하더라도 제품을 기획하고 설계하는 사무실이 돌아가야 하는 것 처럼, 그 사무실의 업무가 자동화 되더라도 거기엔 언제나 사람이 결정하고 판단해야 할 일들이 있다. 그들이 잡아야 할 디테일들이 있다. 무작정 AI가 대체하게 되면 경쟁 기업이 당신을 대체하게 될 것이다.

 

그런데 우리는 AI Agent가 모든 일을 다 해 줄 거라는 착각에 빠져있다. 내 일을 대신 해달라고 던지고 있다. 그리고 여전히 그런 식으로 AI 장사를 하는 영업자들과 경영자들이 주변에 흔하다. 그런 이들에게 우리 회사의 일을 통으로 자동화 해주세요 하고 맡기는 고객들이 즐비하다. 그리고 그들이 보게 될 미래는 제대로 돌아가지 않고 나사빠진 결과를 내뱉는 자동 기계의 아웃풋과, 이미 잘라버린 사람들의 업무를 어떻게 대체해야 할지에 대한 고민 뿐이다.

 

왜 그런 일이 벌어질까?

 

그건, 기업이 사업을 비용으로 생각하고 있기 때문이다. 비용을 줄여 이익을 늘리는 작업으로 생각하며, 인건비를 가장 척결해야 할 비용으로 생각하고, 그에 반해 규제는 많으니 자를 수 있을 때 잘라두자는 마인드가 강하기 때문이다.

 

https://www.joongang.co.kr/article/25381614

미국 덮친 'AI발 감원'…매주 1만1000개 일자리 사라졌다 | 중앙일보

 

https://www.khan.co.kr/article/202512160700001#ENT

[점선면]“AI발 대공황 수준 실업, 청년·여성 먼저 타격”

 

해외는 자르고, 국내는 안 뽑는다.

 

얼마나 좋은가. AI라는 좋은 명분이 생겼다. 그런데 웃기는 건, 그런 기업들이 AI 에 대한 투자는 또 안한다는 것. 요즘 AI 핑계로 구인 시장은 찬바람 쌩쌩 부는데, AI인력도 안팔린다. 

 

https://www.mk.co.kr/news/economy/11485397

"AI인재 처우 주요국 꼴찌수준"… 1만1000명 해외로 떠났다 - 매일경제

 

뭐 어때. AI가 AI 해줄건데 뭘.

 

 

자르는 해외는 어찌되었든, 안 뽑는 국내는 장기적으로 고급인력 부족에 시달릴 것이다. 그리고 기업들은 국내에 고급인력이 없다는 핑계로 오프쇼어링과 외국인 고용을 가속화할 것이다. 국내 인력의 실업으로 인한 비용은 모두 국가의 몫일 뿐 기업은 관심없다.

 

그거도 뭐 다 제껴두고.

 

AI Agent란?

 

나 : AI Agent란?

구글 : 

AI 에이전트(AI Agent)는 사용자의 목표를 이해하고, 스스로 계획하고 추론하며, 외부 도구를 활용해 복잡한 작업을 자율적으로 수행하는 지능형 소프트웨어로, 단순 명령을 넘어선 문제 해결과 의사결정 능력을 갖추고 반복적인 작업을 자동화하는 데 사용됩니다. 생성형 AI 모델(LLM)을 기반으로 기억, 추론, 계획, 행동의 단계를 거쳐 작동하며, 웹 검색, API 호출 등 다양한 도구를 연동해 실질적인 업무를 처리합니다. 

주요 특징 및 원리

• 자율성: 사용자의 지시를 받아 목표를 설정하고, 달성을 위해 필요한 세부 작업을 스스로 분해하고 실행합니다.
• 추론 및 계획: 현재 상황을 파악하고, 장기적인 계획을 세우며, 필요에 따라 계획을 수정하는 능력을 갖습니다.
• 외부 도구 활용: 웹 브라우저, 데이터베이스, 다른 소프트웨어 API 등 외부 도구와 연동하여 기능을 확장합니다.
• 기억(메모리): 과거 대화 기록이나 작업 이력을 저장하고 활용하여 맥락을 이해하고 더 나은 결과를 만듭니다. 

 

LLM을 통해 본격적으로 범용 지능을 갖추기 시작한 AI 분야는 빠르게 기술이 발전하고 있고, 이 능력을 확장하고 있다. 그런 점에서 인간의 사고체계를 모방하여 본격적으로 지적인, 그리고 범용적인 작업 수행이 가능한 지능체계를 구축하려 하고 있다. 그 결과 정의된 게 AI Agent이며, 사실 다분히 홍보용 키워드에 가깝다고 본다.

 

이러한 흐름은 초기에는 LLM의 도메인 튜닝, 그리고 지식 시스템을 적용하기 위한 RAG (Retrieval-Augmented Generation, 검색증강생성) 기술, 기능성 향상을 위해 다른 도구들을 연결한 MCP(Model Context Protocol) 및 Tool Calling, RAG와 히스토리의 개념을 확장한 메모리 시스템 등등이 조합되어 완성되어가고 있다. 여기에 AI에 작업의 Workflow를 정의해주고, 더 나아가 AI 스스로가 설계해 주는 LangGraph 와 같은 기술들도 나와 자율성과 유연성이 더 향상되었다.

 

이런 것들만 보면 뭔가 어마어마한 걸 AI가 해줄 거 같이 보인다. 하지만.

 

저 모듈들 하나하나가 전부 오류를 발생시킬 수 있는 잠재적 위험덩어리다. 저것들이 모두 완벽하게 작동할 거라고 누가 장담할 수 있나. 심지어, 사람조차도 오류를 발생시키는데?

 

기본적으로 AI에 우리가 기대해야 할 최대의 수준은 인간이 할 수 있는 수준이다. 왜냐하면 AI는 인간의 모방으로서 개발되고 있기 때문이다. AI가 인간을 능가할 수 있는 건 더 많은 컴퓨팅 파워의 투입으로 대량의 작업을 처리하는 Scaleability, 그 과정에서 집중력이 흐트러지지 않고 일관된 품질을 보장할 수 있는 Consistency, 장기적으로 데이터를 축적하여 달성하는 Cumulativity 뿐이다. 추상적 개념 추론의 정확성, 복잡한 사회적/도덕적 맥락에 대한 고려, 이변 상황에 대한 임기응변 등은 검증되지도 않았고 그런 능력을 향상시킬 방법도 현재로서는 매우 난해한 문제로 여겨지며, 이런 부분에서 인간의 능력을 뛰어넘기를 기대하긴 무리다. 그리고 대부분 자동화되지 않은 일들이 자동화되지 않은 이유는 바로 저 해결되지 않는 문제들 때문이다.

 

결과, AI에 대해서는 양 극단의 이야기들만 나온다. 허황된 만능론과 무책임한 비관론이다. 앞의 장점을 바탕으로 AI가 만능 해결사가 되어줄 거라는 기대와, 뒤의 한계만을 바탕으로 써보니 별거 없던데? 란 비관이다.

 

AI Agent의 한계

 

https://zdnet.co.kr/view/?no=20250711220851

"AI가 오히려 숙련 개발자 작업 속도 19% 늦췄다"

https://news.hada.io/topic?id=21514

생성형 AI 코딩 툴과 에이전트가 나에게 효과 없는 이유 | GeekNews

 

실제 산업분야에서 AI Agent 가 어떻게 동작하고 생산성에 어떤 영향을 끼칠 지 예상하려면 가장 먼저 봐야 할 게 AI 코딩 분야다. 왜냐하면 이 분야야말로 AI가 가장 빠르게 적용되었고, 널리 적용되었고, 또 고도화되었기 때문이다. 멍청한 프로그래머들은 자기 일자리 뺏을 AI 개발을 위해 사력을 다하고 있기 때문이다. 그 결과,

 

https://www.khan.co.kr/article/202505182108005#ENT

AI가 사람 내몰기 시작…더 살벌해진 실리콘밸리 ‘해고’ 칼바람

 

이렇게 되었는데 그 결과는,

 

https://news.hada.io/topic?id=19184

프로그래머를 해고하고 AI로 대체하는 것은 기술업계 최악의 실수임 | GeekNews

 

이런 평가도 나오고 있다.

 

물론 기사 한두개, 글 한두개 만으로 모든 상황을 평가할 수는 없다. 하지만 내가 보기엔 저 이야기가 대단히 타당성이 있는 흐름이라 가져왔다. 결국 AI가 해주는 건 문제 정의도, 문제 해결도 아니다. 문제 해결 과정에서의 성가신 일들을 일부 해 주는 것이다. 현재 가장 고도화된 코딩에서도 그런 한계점들이 지적된다. 그리고 그 멍청한, AI 개발에 참여하는 프로그래머로서, AI 코딩을 해본 결과는,

 

음, 매우 좋다. 매우 꿀이다. 매우 생산성 향상에 도움이 된다. 그런데.

 

내 일에 장애가 되고 버든이 되는 건 언제나 코딩이 아니라 장표 만드는 일이었다. 심지어 주니어가 아니라 시니어라 더 장표 만들고, 회의 참가하고, 계획하고, 설계하고, 사람 설득할 일들이 많았다. 솔직히 AI가 코딩보다도 장표 만들고 윗사람들이나 고객들 설득하는 걸 자동으로 해줬으면 좋겠다... ㅜ.ㅜ;;

 

심지어 코딩 영역조차 내가 개별적으로 테스트해보는 PoC 수준의 코드라면 문제가 없지만, 제품 코드라면 이야기가 다르다. 결국 전부 다 봐야 한다. 빠른 프로토타이핑에 유용하지 실제 돌아갈 코드라면 직접 코드 대부분을 눈으로 보고 검증해야 한다. 그러지 못한 코드는 모두 기업의 기술 부채가 되고, 언제 터질지 모르는 지뢰가 된다.

 

그래서 시니어는 그렇다 치고, 주니어는 대체할 수 있지 않냐고?

 

바로 그걸 저 위의 글에서 지적하고 있는 것이다. 그렇게 주니어들 안 뽑고 있는 우리나라에서는, 과연 10년, 20년 후 소프트웨어 분야에서 경쟁력이 있을까? 지금도 IT 강국이란 위상에 비해 소프트웨어 쪽의 수준은 처참하다.

 

무엇보다 기업의 경쟁력을 위해서는 시스템을 설계할 줄 아는 고수준의 프로그래머들이 필요하다. 재사용 가능한 애셋들과 그것들을 만들어내고 유지관리할 수 있는 전문가들이 필요하다. 애초에 우리나라의 소프트웨어 업계는 그게 문제다. SI는 단기성 프로젝트 남발에 인력장사라, 코드 재사용성이 엉망이라 경쟁력이 안 나오고, 그나마 우리나라에서 제일 잘 나가던 (물론 지금은 폭망한) 게임업계도 코드 재사용은 커녕 일정에 밀려 스파게티 양산이 일상이다. 그러니 하나에 엔진을 기반으로 시리즈를 내고, 다른 시리즈에도 응용하며, 아예 엔진도 팔아먹는 해외 게임 기업들과 경쟁이 될 리가 없다. 그러니 SI 업체들은 해외 솔루션 설치기사로 전락하는 것이다.

 

근데 지금의 시니어들조차 은퇴하면 지금 하는 것 조차 제대로 할 인력이 없을거다.

 

그리고 AI Agent의 거짓말을 뒤따라가면 다른 업계들도 그렇게 될 것이다.

 

왜 이런 일이 일어나는가?

1번. 비용 절감. 회사의 재정을 개선하는 가장 쉬운 방법은 바로 비용 절감이다. 왜냐하면 매출 수준을 올리는 건 매우 힘들기 때문이다. 경쟁사들을 이길 만한 품질 개선은 어마어마한 비용이 들어, 실제 수익으로 연결되기 힘들다. 마케팅에 열을 올려도 이는 자칫 업계 전체의 치킨게임으로 흐를 위험도 있다. 그런 점에서, 내 내부만 바꾸면 되는 비용 절감은 확실히 매력적인 선택이고, 또한 기업의 매우 큰 경쟁력이 된다. 비용을 낮추면 가격을 내려 시장 점유율을 끌어올릴 수도 있다.

 

문제는 비용에만 매몰되어 품질 변화를 제대로 감지 못할 수 있다는 것이다. 위의 도어맨 효과가 바로 그것이다. 비용 절감 이상으로 서비스 품질이 하락하는 걸 인지하지 못하면 결국 기업의 큰 손실로 이어진다. 그리고 그로 인해 망가진 기업 이미지는 장기적으로 더 큰 악영향과 추가비용을 유발할 수 있다.

 

저런 함정에 빠지는 것을 빈 카운터 라고 한다.

 

https://namu.wiki/w/%EB%B9%88%20%EC%B9%B4%EC%9A%B4%ED%84%B0

빈 카운터

 

재무 담당은 경영에서 빠져! 같은 이야기가 아니다. 오히려 실력있는 재무 담당자가 기업 내의 불필요한 비용 문제를 해결하여 기업의 경쟁력을 향상시킬 수도 있다. 문제는 기술과 제품에 대한 이해가 없고, 이해하려는 노력도 의지도 없으며, 회사와 제품에 대한 애정이라곤 쥐뿔도 없는 인간이 숫자만 보고 의사결정을 할 때 생긴다. 자사의 핵심 경쟁력이 무엇이고 그것을 향상시킬 방법, 그것을 위협하는 리스크가 뭔지도 모르고 판단하려 하지 않는 이가 의사결정자가 되면 저런 문제가 생긴다. 비전을 제시할 줄 아는 리더가 아닌 단순히 시스템을 관리할 뿐인 매니저가 방향을 정하는 자리에 서면 저 꼴이 난다.

 

그리고 그런 이들이 윗자리에 늘어날 수록 그 결과 벌어지는 건 연구개발 조직의 붕괴 뿐이다.

 

연구개발 조직이 절대적으로 보존되어야 하는 건 아니다. 하지만 장기적인 성장 동력, 미래의 캐시카우를 만들기 위한 조직은 반드시 필요하며 거기엔 충분한 투자가 필요하다. 연구개발 조직이 제 성과를 못 낸다면 그 문제를 분석하고 해결할 수도 있어야 한다. 방향이 잘못되어 성과가 안나면 방향을 제시할 수 있어야 한다. 그러려면 기술과 제품에 대한 이해가 있어야 하고, 그 이해가 매우 뛰어나야 한다. 그리고 무엇보다, 비용 이란 리스크를 질 준비가 되어있어야 한다.

 

하지만 그러지 않은 임원들이 허다하다. 왜냐하면, 비정규직들이거든. 몇 년 하다가 떠나면 그만인 사람들이 회사를 운영하고 있다. 물론 지분 쥐꼬리만한 재벌가 역시 도움 안 되긴 매한가지다. 단기 성과와 치적 만들기에만 골몰하는 이들은 저 문제를 해결하지 못한다. 

 

문제는, 이런 사람이 의사결정할 땐 실제 업무에 대한 이해가 떨어지기 때문에, 정말 조직 내에서 어떤 것이 비용을 발생시키고 있는지, 그것이 기술을 도입해 해결 가능한지를 판단할 수 없는 채로 의사결정을 내린다는 것이다. 그리고 이러한 의사결정은 아마도,

 

저 기술이 요즘 뜬다는데 적용할 만한 데 알아봐!

 

라고 아래 조직에 업무 지시를 할 것이다. 그럼 현업 부서들은 바쁘다고 모른채하기 마련이고, 결국 덤터기 쓰는 기술 센싱, 기술 전략 부서는 현업을 몰라 표면적인 내용만을 보고 판단하여 올리기 마련이다. 그러면?

 

도어맨 직행이다.

 

심지어, 쉽게 대체될 수 없는 복잡한 맥락의 고려가 필요한 실무들을, AI 기업들의 약팔이에 속아 완전 자동를 목표로 사업을 진행하면 그 결과는 뻔하다.

 

그럼 대안은?

https://www.kookje.co.kr/news2011/asp/newsbody.asp?code=0300&key=20251106.22006001400

“900만 원으로 자체 AI 만들다니” 사하구 벤치마킹 잇따라

 

실제 일하는 이들이 자신들의 Workflow에 맞춰 AI를 활용할 방안을 연구해야 한다. 그건 특별히 능력있는 사람만 할 수 있는 거 아니냐고?

 

무슨 소리. 챗GPT는 누구나 다 쓴다. 국내에서 2천만 명이 쓰는데 설마 2천만이 모두 AI 전문가일까. 저기에서 프롬프팅으로 자기 일을 위해 AI를 튜닝할 수 있는 사람은 100만 명은 될 것이다.

 

극도록 고도화되고 사내 업무에 특화된 전문 AI 솔루션이 필요한 게 아니다. 기초적이고 범용적인 AI 시스템을 이용해 업무에 접목하는 Workflow의 개발이 더 중요하다. 그리고 그게 되면, 안 되는 부분을 하나씩 고도화하면 된다.

 

그런데 실상은 정 반대다. 바빠서 아무것도 도와주지 못하는 실무자와, 그 실무를 제대로 모르고 시키는 대로 하는 IT 부서와, 그 IT 부서가 불러서 영문도 모르고 외주로 들어온 AI 전문가들이 완전 자동화를 해줄 수 있다고 의사결정이 되고 있다. 그렇게 돌아갈 수 있을 리가 없다.

 

챗GPT로라도 Workflow 우수사례를 만들어봐라. 회사 보안 문제로 클라우드 서비스를 이용 못한다면 사내에 간단한 RAG 챗봇과 오픈소스 모델들이라도 깔아서 서비스 하고, 그 활용 사례부터 모아라. 그리고 RAG에 맞춰 사내 데이터를 구조화할 방법부터 고민해봐라. 보통은 AI 에 맞게 데이터 정제하는 것 부터가 답이 없다.

 

거기에 AI를 도입하는 게 실무자들에게 쥐뿔도 메리트가 없다. 당장 프로그래머들, 개발자들은 잘리고 있다. 저걸 보고 어떤 실무자가 AI 도입을 환영할까. 요즘 매일같이 기사로 나오고 오피니언 리더들이 주장하는 게 52시간제 철폐인데, AI로 업무 효율이 개선된다고 해서 누가 좋아할까? 위에서는 일이 효율적이 되면 자르거나 더 많은 일을 내릴 궁리만 하는데.

 

https://www.fmkorea.com/best/8090101412

선진국인 일본이 엑셀을 쓰지 않는 이유

 

사람을 움직이지 못하는 기업이라면, 기술로 개선되지 않는다.

 

리더는 사람도 기술도 모두 이해하고 이끌 수 있어야 한다.