AI에 답을 구하는 사람들

https://www.newsis.com/view/NISX20251014_0003361632

AI가 짜준 '완벽한' 여행…"현실은 완전 엉망"

 

한 개인이 여행을 망치는 건 차라리 괜찮다. 문제는 중요한 산업, 사회의 시스템을 AI에 맡기려는 것이다.

 

https://oortcloud.kr/21

AI의 '환각(Hallucination)' 현상과 그 메커니즘 – 생성형 AI의 한계와 원인 분석

 

사람의 모든 지적 활동과 복잡한 작업, 의사결정 과정에서는 매우 복잡한 맥락과 제약조건, 다양한 정보로부터 오는 인사이트 등등이 포함된다. 그리고 이들 중 절대적인 대다수의 영역은 무의식중에 반영된다. 그렇기 때문에 '전문가'라는 게 존재하는 것이다.

 

한 분야의 전문가가 되려면 최소 10000시간이 필요하다는 이야기가 있다. 소위 1만 시간의 법칙이다. 하지만 사실, 전문 지식을 공부하는 것만 따지면 솔직히 100시간이면 기본적인 흐름을 다 배울 수 있고 1000시간 정도면 어지간한 지식은 다 습득할 수 있을 것이다. 10000시간이 필요한 건 그 이상의 맥락들이 체화되려면 그 분야에서 그만큼 다양한 경험을 쌓아야 하기 때문이다.

 

그리고 1만 시간의 법칙에서는 하루 3시간 10년을 한 분야를 파면 그 분야의 전문가가 될 수 있다는 이야기인데 10살짜리 꼬맹이를 하루 10시간씩 3년 공부시켜 그 1만 시간 채운다고 해서 그가 전문가가 될 수 있는 게 아니다. 대부분의 사람들은 전문 교육과정에 들어가는 대학교 이전까지, 20세가 되도록 온간 다양한 기초교육을 배운다. 그 교육의 양과 질은 어마어마한 규모이며, 교육 외적으로도 습득하는 사회적인 맥락과 규범들의 습득까지 포함하면 엄청나게 방대한 양이 된다. 그리고 똑같은 환경에서 똑같은 교육을 받은 사람이라도 실제 업무 역량에서는 커다란 차별을 보이게 된다. 특히 실제 고도화된 지적 활동들은 더욱 복잡해져 어디까지의 정보를 고려해야 할 지 알 수가 없다.

 

예를 들어 마케팅과 같은 경우, 한 끝빨 차이로 참신함과 참 심함이 달라진다. 임팩트를 주려던 게 불쾌감을 주는 경우가 허다하다. 대표적으로 애플의 사례가 있다.

 

https://namu.wiki/w/1984(TV%20%EA%B4%91%EA%B3%A0)

1984(TV 광고)

 

1984의 광고는 역대급 초대박을 쳤고, 그 다음해에 나온 레밍스 광고는 역대급 초 폭망을 했다. 당시 CEO였던 존 스컬리의 자서전에서는 1984로 고무되어 매킨토시의 생산량을 폭발적으로 늘렸는데, 레밍스 광고가 망하면서 엄청난 재고비용으로 돌아왔다고 한다. 둘 다 당시에 대단히 파격적인 광고였고, 결과는 정 반대였다.

 

https://biz.chosun.com/it-science/ict/2024/05/09/QDTR3VSGERAR3HZWGYS46SWWTE/

“예술가 조롱하나” 악기·카메라 부수는 아이패드 광고 비판 잇달아

https://www.chosun.com/economy/tech_it/2024/05/10/PP4WUWRWFBDPPFIIGJT3MPCRIE/

애플이 2008년 LG 광고 베꼈나... 새 아이패드 광고 유사성 의혹까지

 

위 광고도 매우 욕먹은 광고다. 악기들로 대변되는 예술을 압축해 자신들의 제품이 탄생했다는 걸 표현하려는게 예술을 모욕하는 것으로 대중들에게 인지되며 엄청나게 욕을 먹었다. 웃기는 건 훨씬 예전의 LG 광고의 카피 수준으로 따라했다는 것. 가로로 누르나 세로로 누르나의 차이. 하지만 정작 LG 광고는 그런 욕을 안 먹었다. 오히려 LG 광고 카피했냐라는 추가적인 욕을 애플이 먹었을 뿐이다.

 

그건 광고 영역이 당시의 사회 분위기와 대중적인 인식들에 따라 엄청나게 다르게 해석될 수 있고 그 결과가 완전히 상반되게 나타날 수도 있기 때문이다. 예술의 영역들이 모두 그렇다. 뉴스 기사들도 그렇다. 창의성이 필요한 대부분의 지적인 업무들이 그렇다. 왜냐하면.

 

그 결과물이 추구하는 대상이 사람이기 때문이다.

 

사람의 손을 거쳐 만들어 사람에게 전달되어야 하는 일이다. 그런 건 기계가 온전히 할 수 없다. 기계가 사람의 능력을 따라잡지 못하기 때문이 아니다. 그냥 대상이 사람이기 때문이다.

 

공장의 자동화는 기계만으로 거의 완벽하게 될 수 있다. 하지만 저런 지적인 작업들은 대부분 불가능하다. 기계가 기계이기 때문에 고려하지 못하는 사람의 맥락을 사람이 고려하여 챙겨야 한다. 그러지 않으면 헛 일이고, 심지어 엄청난 악영향을 끼칠 수도 있다. 그런 만큼.

 

요즘 LLM이 마치 인간과 같다느니 AI Agent가 모든 걸 다 해줄 거라느니 약을 파는 놈들이 천지에 널려있지만 전부 헛소리다. 생각해봐라.

 

아이언맨은 아이언맨이다. 자비스가 아이언맨이 아니다. 자비스라는 엄청난 AI를 만든 토니 스타크는 자비스를 시켜 싸우게 시킨 게 아니라 본인이 날아다녔다. 왜냐하면 몸을 던져서라도 사람들을 구하겠다는 의지를 가질 수 있는 건 토니 스타크이지 자비스가 아니기 때문이다. 왜냐하면 자비스가 그런 판단을 못할 만큼 멍청해서가 아니라, 토니 스타크가 주체이기 때문이다.

 

그런 토니 스타크가 '주체'로서의 자격을 AI에게 넘긴 일이 있었다. 그 결과가 울트론이었다.

 

AI는 우리의 일을 돕기 위해 만들어졌다. 하지만 인류는 점점 복잡하고 힘든 의사결정을 AI에 떠넘기려고 하고 있다. 그리고 소위 AI 사업을 한다는 사람들은 그런 왜곡된 생각을 사람들에게 퍼트리고 있다. 왜냐하면 사람들의 판단능력을 빼앗고 제품을 소비하도록 강제하는 것이 언제나 자본주의 사회에서의 승리 공식이었기 때문이다. 내가 행복해질 방법은 내가 고민해야 하고, 내가 판단해야 한다.

 

AI에게 자료조사를 시키고 제안을 받을 수는 있지만 의사결정을 하고 그 결과를 책임지는 건 인간 개인의 몫이며, 그렇기 때문에 결과만 틱 받아 오케이 하는 게 아니라 검증할 수 있는 최선을 다해 검증해야 한다. 본인이 그러지 않아서 생긴 문제는 본인의 책임이다. 아무도 책임져주지 않는다.

 

하지만 AI 전문가라는 놈들이 요즘 뭘 말하는가.

 

AI 에이전트가 다 해줄 것이다, 라고 하고 있다.

 

ㅈㄹ을 해라...

 

 

https://weekly.khan.co.kr/article/202412271540001

[IT 칼럼] AI 에이전트의 기만 본능

 

AI 에이전트가 무엇인가.

 

간단히 말하면 LLM이 대단히 추상적인 작업을 범용적으로 수행할 수 있는 걸 보고, '그럼 더 복잡한 작업도 할 수 있겠네'라며 만들기 시작한 물건이다. LLM에게 업무에 필요한 다양한 툴들을 MCP를 통해 붙여주고, 업무를 할 수 있는 프로세스를 스스로 생성하게 하여 그 프로세스에 따라 작업을 수행해 나가며 최종 산출물을 만들어내도록 하는 게 바로 AI 에이전트다. 그리고 AI 빅테크들은 그것이 인간의 수많은 지적인 작업들을 자동화 해 줄 거라고 열심히 광을 팔고 있다. 개소리다.

 

저 위의 기사까지 갈 것도 없다. 상식적으로 생각해보자.

 

하나의 상황에서 하나의 답변을 99% 정확하게 수행해주는 LLM이 있다 치자. 그걸 가지고 AI 에이전트를 만들었다 치자. 그럼 그 에이전트가 전체 작업 프로세스를 제대로 만들어줄 확률은 99%이다. 그 프로세스가 10개의 스텝으로 이루어진다 치자. 그럼 각 프로세스마다 1%씩의 오류가 계속 누적된다. 그 에이전트의 작업이 정상 동작할 확률은 0.99^11 = 0.895 이다. 즉 90%가 안 된다. 근데 문제가 있다. 우린 99%의 정확도를 가진 시스템을 만들 수 없다. 현대 기술로만 그럴 뿐, 계속 발전하면 나아질까? 아니다. 왜냐하면 환각은 인간조차 피할 수 없는 자연재해고, 편향 역시 원천 데이터에서부터 내재되어 있는 구조적 문제이기 때문이다. 그것조차 완벽하게 학습할 수 없는 현재로서는 어떤 작업에 대해 90% 정확도면 엄청나게 뛰어난 것이다.

 

프로세스가 정해져 있는 작업에서조차 그렇다. 위의 에이전트를 100가지 상황에서 테스트 해 본 결과 저 정확도가 나왔어도, 그 테스트에 속해 있지 않은 조금이라도 다른 상황이 되면 어떤 일이 벌어질지 알 길이 없다. 숫자는 0~N까지 범위를 정할 수 있지만 언어로 표현되는 이 세상의 일들은 범위로 표현할 수가 없기 때문이다. 100만가지 상황에서 테스트해서 100% 정상 동작하는 시스템을 만들어도 거기 속하지 않은 새로운 상황에서 정상 동작을 보장할 수 없다. 거기에.

 

그게 인간이라면 어쨌거나 인간이 이해할 수 있는 범위의 사고를 칠 것이다. 하지만 AI는? 그런 제약이 없다.

 

https://magazine.hankyung.com/business/article/202305169605b

클릭 한 번으로 증권사 무너뜨린 ‘최악의 실수’ [민경진의 판례 읽기]

https://www.yna.co.kr/view/AKR20180408034100008

실수로 '증권사 파산'까지…증시 강타한 '팻핑거' 역사 | 연합뉴스

 

사람도 실수할 수 있다. 하지만 저런 실수가 발생했을 때 대응이라도 할 수 있다. 그런데 저 감시체계까지 모두 AI에 맡겨놓는다면? AI가 본 적 없는 이변 사태에 대해서 그냥 넋놓고 서버린다면?

 

산업의 AI 전환은 필연이고 막을 수 없는 흐름이다. 하지만 그 방향은 AI를 통한 완전 자동화가 아니라 사람의 능력을 확장시키는 것이 되어야 한다. AI 에이전트 역시 마찬가지다. 완전히 돌아가는 시스템은 없다. AI 에이전트의 성공에서 가장 핵심적인 부분은 어디에 어떻게 사람의 관리포인트를 넣는 것이 산출물의 품질을 손쉽게 파악하고 극대화할 수 있느냐다.

 

사람과의 연계를 고려하지 않은 AI 에이전트는 정크 생성기에 불과하다.

 

 

https://www.aitimes.com/news/articleView.html?idxno=168811

대세는 '바이브 코딩'..."1년 내 AI가 인간 대신 모든 코딩 맡을 것" - AI타임스

 

이딴 소리 하고 있는데,

 

https://kitpa.org/news/401?title=AI%20%EC%BD%94%EB%94%A9%20%EC%97%90%EC%9D%B4%EC%A0%84%ED%8A%B8%2C%20%EC%83%9D%EC%82%B0%EC%84%B1%20%ED%96%A5%EC%83%81%EC%9D%80%2010%25%20%EB%B6%88%EA%B3%BC...%EA%B0%9C%EB%B0%9C%EC%9E%90%20%EC%97%AD%ED%95%A0%20%EC%9E%AC%EC%A0%95%EC%9D%98%20%ED%95%84%EC%9A%94&tags=%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%2C%EC%98%A4%ED%94%BC%EB%8B%88%EC%96%B8&image=aebbdb47-e8f2-40bc-a72d-49815c45b596&createdAt=Mon%20Sep%2029%202025%2001%3A24%3A44%20GMT-0700%20(Pacific%20Daylight%20Time)

한국정보기술진흥원

 

이런 이야기 나오고 있고,

 

https://www.etnews.com/20250923000415

AI 비서, 정말 쓸모 있을까?… AI 에이전트 활용 방해하는 5가지 장벽

 

이런 지적도 나온다.

 

바이브 코딩, 그리고 코딩 에이전트는 AI 에이전트가 가장 빠르게 발전하고 있는 분야다. 왜냐하면 다른 도메인 전문가들은 "AI, 그거 먹는건가염? 나 AI 모름 니들이 다 해주삼" 이러고 있는데 전산쟁이들은 저게 자기 일을 뺏든 말든 자기들의 귀중한 데이터들을 공개 사이트에 뿌려버리며 데이터 만들어달라 하면 적극적으로 만들어주기 때문이다. 심지어 AI를 아는 이들도 전부 전산쟁이들이다. 그리고 저게 가는 방향이, 앞으로 다른 분야에서도 벌어질 일들인 것이다.

 

거기에 실제로 나만 해도 AI 에게 코드 작성 중 많은 도움을 받고 있다. 확실히 생산성이 다르다. 그런데 전체 프로젝트 범주에서 보면 AI가 해주는 역할이란 게 그렇게 큰가? 글쎄. 오히려, AI의 도움을 가장 크게 받고 있는 사람은 AI에게 코드를 맡기는 사람이 아니다. 그걸 능수능란하게 써서 일부를 맡기지만 일의 주도권을 내주지 않는 이들이다.

 

당장 이 글도 AI에게 안 맡긴다. 왜냐하면, 여기에 쓰고 있는 논리들과 논지들을 AI에 프롬프팅 하려면, 어차피 이 정도 규모의 글을 써야 하니까. 코드도 마찬가지. 완벽하게 인간 의도대로 코드를 만드려면 그 코드 만드는 규모의 텍스트를 입력해줘야 하고, 정말 그거대로 짠 게 맞는지 확인하는 업무량은 별도다. 그런 결과적으로 AI 코딩의 생산성 향상은 없게 된다. 오히려 코드 검수를 위해 시간이 더 든다는 이야기도 많다.

 

AI 에이전트를 잘 쓰려면 어떻게 워크플로우가 나와야 하고, 어디에 관리포인트를 설정해야 하는지를 잘 설계해야 한다.

 

하물며 범용 AI 에이전트는 까마득하다.

 

 

내가 이런 이야기를 쓰고 있는 건, AI 사업에서 상당 부분들이 결과적으로 해줘해줘이기 때문이다. AI가 다 할 줄 안대매, 이거 자동으로 해줘, 이다. 처음에는 아니라고 한다. 완벽한 결과가 아니라도 된다고 한다. 하지만 과제 끝날때는 왜 이거밖에 못해? 를 시전한다.

 

과제 중간에 시나리오 설계할 때도 눈 돌리고, 데이터 만들어야 할 때도 눈 돌려놓고는.

 

그 도구를 써야 할 사람들이 도구의 설계와 제작에 관여하지 않고, 알아서 다 되는 걸 바란다. 그리고 최종 결과에 오류가 있으면 말한다. 이해는 하지만 말이죠, 일반 사용자들은 그런 거 몰라요. 그냥 가져다 쓰고 문제가 생길 수 있어요.

 

이해는 한다. 근데 어쩌라는 건가. 자동차도 운전하기 위해선 교육을 받고 여러가지 위험요소에 주의도 듣지만 사고가 난다. 근데 왜 AI 사고는 전적으로 개발자가 책임져야 하는데? 매일같이 자동차 사고가 나는 것 처럼, AI 오용의 사례와 할루시네이션의 한계점이 끝도 없이 뉴스 기사로 나오며 경고하고 있는데 왜?

 

AI는 대신 일할 아바타가 아니라고. 그냥 당신에게 로봇 팔 하나 더 달아놓는 거다. 그런데 자신이 팔 아무렇게나 막 휘둘러도 사고 안 나고, 내가 어떻게 작업할진 나도 모르지만 아무튼 잘 되어야 한다?

 

그렇게 만드는 건 불가능하다.

 

 

AI 기업들은 인간의 대체가 아니라 인간의 능력의 확장을 목표로 AI를 개발해야 한다. AI가 인간과 함께 가도록 설계해야 한다. 그러려면 인간의 일을 이해하고, 어떻게 AI와 조화를 이룰지를 고민해야 한다.

 

기업들이 그런 걸 제대로 고민했다면 지금의 전산쟁이들의 겨울이 오지 않았을 것이다.

 

하지만 어차피 다양한 코드 관리 툴, 라이브러리들이 나왔을 때도 그랬는걸. 코드의 자산화, 프로젝트의 체계적인 관리보다 땜빵 인밀래를 선호했고, 이제는 결과가 어쩌든 나중에 뭐같은 일이 벌어지든 알 거 없이 그냥 AI 코딩 돌려버리겠다는데 뭘 어쩌겠어.

 

그리고 그런 마인드로 다른 분야에서도 AI 에이전트를 구축하면? 당연히 뭐같은 결과 나오고 사업 망하는거다.

 

이거 사람이 하기 귀찮으니 AI가 해줘, 하면 망하는거다. 내가 AI를 어떻게 써야 할까를 고민해야 성공할 수 있다. 그러려면 AI를 써봐야 하고, 이해해야 하고, 뭐가 가능한지 뭐가 불가능한지 파악해야 하고, 일부는 내가 AI에 맞추기도 해야 한다.

 

AI에 맞춰야 한다. 중요해서 두 번 말했다.

 

하다못해 컴퓨터를 쓰려고 해도 공부해야 한다. 인터넷 검색도 예전에는 정보검색 자격증이 있었다. 왜 AI는 그냥 될 거라고 생각하지? 그런데 정작.

 

현대 사회에는 사람과 제대로 된 의사소통을 해서 협업하는 것조차 못하는 사람이 천지다. AI가 완벽한 사람 수준의 지능과 언어능력을 갖추더라도 갈길이 먼 것이다.

 

 

AI 프로젝트를 기획하는 사람이라면, 전문가 불러서 돈 줘서 끝낼 생각 마라. 업무는 니네가 하는 것이다. 전문가란 사람은 과제 끝나면 빠이빠이 하고 나갈 사람이다. 당신의 그 일에 아무런 책임도 지지 않는다.

 

AI를 공부하는 사람, 활용하려는 사람이라면 언제나 일의 주도권은 자신에게 있다는 걸 인지해야 한다. AI가 뭐같은 결과 내뱉어서 엿먹는다고 아무도 책임져주지 않는다. 온전히 자신의 몫이다. 절대로 의사결정을 AI에게 맡기지 마라. 그건 스스로 AI의 노예임을 선언하는 것이다. AI에게 일을 시키는 사장이 되어야지 왜 노예를 자처하는가.

 

 

AI가 여행 계획을 엉망으로 짜줬다고?

 

니가 그 AI 답변 나오는 5분 남짓동안 계획을 짜봐. 남이 5분만에 내뱉는 결과에 자신의 중요한 시간을 걸었으면, 그 결과가 어땠든간에 불평따위 할 자격 없다.