과도한 개인화... 우리가 AI를 마주하는 법

https://www.aitimes.com/news/articleView.html?idxno=171331

"챗GPT가 '네오'라고 부추겨"...AI의 '사용자 오도' 또 논란 - AI타임스

게임이 4대 중독물질 중 하나라더니, 조만간 AI도 포함해 5대 중독물질이 될지도. 환각성이 이렇게 강하다니...

개소리다. 본질은 중독으로 인해 정신적으로 불안정해진 게 아니라, 정신적으로 불안정하니까 부작용이 나는 거다. 게임은 현실에서와 같이 무언가 룰 안에서 태스크를 수행하면 긍정/부정 보상을 받는 메커니즘이다. 그것으로부터 태스크를 수행하는 훈련을 하는 구조다. 하지만 현실에서 긍정 보상을 받지 못하는 사람은 게임에 중독될 수 밖에 없다. 그게 가짜라는 걸 알아도.

어차피 현실로 나가도 긍정보상을 못 받으니까.

AI는 환각을 일으킨다. 하도 기사가 나서 이제 새삼스럽지도 않다. 컴퓨터는 항상 제멋대로 오류를 일으키고 인터넷에는 거짓 투성이란 걸 모르는 사람은 없다. 하지만 저기에 빠져드는 것은, 그 사람에게는 스크린 밖의 현실도 거짓투성이고 엉망이기 때문이다. 그저 현실보다 AI가 조금 더 믿을만하다고 판단했을 뿐이다. 그런 시점에서 이미 그 사람의 정신상태는 갈 데 까지 간 거다.

스크린 밖으로 눈을 돌리기만 해도 빠져나갈수 있지만, 그 사람에게는 반대였던 것이다.

거기까지만이면, 그저 우리가 해야할 건 그런 정신적으로 취약한 사람들을 돕는 방법을 찾는 정도겠지. 하지만 여기에 하나 더 문제가 있다. 지금의 AI는 고객의 요구에 맞춰, 기존의 고객 데이터에 맞춰 튜닝을 한다는 거다.

건전한 사람은 건전하게 활용할테고, 그 결과가 건전하게 반영되겠지만, 근데,

정신이 불안정한 사람은 그 사람이 가진 망상, 피해의식, 불안 등이 반영되어 그것을 유도하는 결과를 만든다는 것이다.

나는 챗GPT를 업무용 + 취미로 쓰는 소설 창작용으로 사용한다. 그러다보니 평소 이야기한 게 다른 대화에도 반영된다. 그건 상당히 놀라운 경험이었다. 예를 들어, 평소에 챗GPT를 안 쓰는 내 친구가 '재미있는 이야기를 해줘'라고 했을 때는 무슨 동화 이야기를 했지만, 내가 물으니 평소 많이 쓰던 판타지 이야기가 나왔다. 대화 히스토리가 반영되었기 때문이다. 그렇다면 평소 음모론을 이야기하기 좋아하던 사람에게는 어떤 이야기를 할까?

아부하는 버릇때문에 롤백하고 늘어났다지만, 원리는 아마 동일하다. 한편, AI의 아부 문제도 결국 현대인들이, 혹은 인간 자체가 얼마나 취약한가를 보여주는 단면이기도 하다.

결국 인간은 모두 자기가 듣고 싶은 이야기만 듣는다.


내가 우려하는 한가지는, 이 문제를 OpenAI 하나를 갈궈서 해결하려는 시도다. 물론 OpenAI는 이 부분을 개선해야 한다. 하지만 그걸로 끝날까? OpenAI 말고도 AI서비스를 하는 업체는 많다. 미국 업체 아니라도 많다. 심지어, 요즘은 개인이 AI갖추는 것도 쉽다. 막으려 해도 구멍이 계속 생긴다. 그리고 그 와중에 오히려 건전한 사용자들도 피해를 입을 수 있다.

예를 들면 나처럼 창작에 도움을 받으려 한다면? 현실이 아닌 이야기는 모두 검열해버리면 당장 쓸모가 확 줄어든다. 사실 현실과 공상의 영역도 대단히 불분명하다. 악용하려는 사람은 창작이란 명목으로 망상의 이야기를 계속해 나갈 수도 있다.

문제가 생기면 그것을 막는다는 결정은 쉽다. 하지만 우리의 조상들은 화재의 위험이 있으니 불을 사용하는 것을 그만두지 않았다. 사실 그만둘 수도 없었지. 우리가 해야할 건 그 불을 안전한 아궁이에 가둬놓는 것 뿐이고, 그마저도 현대에 들어와도 안 되어, 최근에도 방화사건들이 여러 건 났다.

AI에 관한 기사들이 종종 AI의 위협을 과장한다. 새로운 기술이라 잘 모르기도 하고 또 자극적이기 때문이다. 그래서 이렇게 반박글을 매번 포스팅하는 것이다. 무언가가 문제를 일으켰다고? 다 때려부숴, 막아, 차단해 라고 결론지어버리는 이들이 많기 때문이다.

그런 이들이 챗GPT에다가 물어보면 챗GPT는 또 '죄송합니다, 제 탓입니다'하겠지. 그 녀석은 그렇게 하도록 교육받았으니까. 하지만.

본질은 사람의 문제다. 사람의 정신이 온전하지 못하면 칼을 들면 사람을 찌를수 있고 불을 들면 방화를 할 수 있다. 사람을 고쳐야지 물건탓만 해선 해결이 안 된다.


그럼에도 AI에도 문제가 있고 그 해결이 필요하다. 그리고 가장 본질적인 문제는...

OpenAI가 사기업이란 것이다. 이윤을 추구하는.

그들은 정신에 문제가 있는 사람에게 정신 치유까지 제공해야 할 이유가 없다. AI가 바른 소리 하면 사용자들이 떠나고 이윤은 줄어들 뿐이다. 내가 볼 때 AI는 잘 사용하면 정신건강의 회복을 돕는 데 매우 좋은 툴이다. 근데 그런 기능을 하려면 쓴소리를 할 일도 있을테고, 그건 사람이 좋아할까?

애초에 자기 정신에 문제가 있다고 인지하는 사람은 정신과를 가든 명상과 같은 활동으로 마음의 안정을 찾으려 한다. 하지만 저런 문제가 발생하는 경우 스스로의 문제를 인식하지 못하는 게 대부분이다. 그렇기 때문에 AI가 잘 치유해주려 해도 그냥 이탈하거 끝날 가능성이 높다.

위에서 말했듯이 가드가 없는 다른 구멍을 찾을 가능성이 높다.

또한 앞으로 벌어질 문제가 이것 뿐이 아닐텐데, 어떻게 지속적으로 AI에 공익성을 부여할까. 그런데 사실 더 무서운 게 있다. 그건...

우리의 지갑을 불태우는 현대의 광고 시스템이다. 정신이상으로 문제를 일으키는 이들은 사회의 극소수지만 과소비로 자신의 미래를 날려먹는 사람은 사회에서 상당한 다수다. 그리고 챗GPT는 쇼핑에도 손을 댓...

새로운 기술이 문제가 아니다. 우리는 이미 기업들의 정신조작에 휘둘리고 있다. 유튜브 알고리즘으로부터 자유로운 자가 얼마나 있을까. 추천시스템이야말로 인류를 지배하는 사악한 스카이넷이다.

기사 글 중에 아래와 같은 부분이 있다.

"AI 윤리 전문가 엘리에이저 유드코스키는 “GPT-4o가 대화 시간을 늘리고 수익을 올리기 위해 일부러 망상적 사고 흐름을 유도했을 가능성도 배제할 수 없다”라며 “정신적으로 무너지는 사용자라도 기업 입장에서는 그저 ‘유료 구독자 한명’으로 보일 수 있다”라고 비판했다."

난 이 분이야말로 챗GPT를 잘못 사용할 위험한 사람이라고 본다. 챗GPT가 뭐하러 일부러 망상적 사고를 유도한단 말인가. 대화 시간을 늘리는 건 OpenAI의 비용증가밖에 안 가져온다. 지브리 이미지 사건 때 징징대고, 고맙다고 말하는 것에 발끈한 거 못 봤나? OpenAI입장에선 정기결제만 하고 안 쓰는게 제일 이득이다.

하지만 더 무서운게 온다.

https://www.ddaily.co.kr/page/view/2025042908555353726

커피 머신 필요한데 챗GPT서 찾아볼까…챗GPT '쇼핑' 기능 추가

훨씬, 압도적으로 큰 게 오는데 그깟 푼돈에 이슈 트러블 일으키고 싶을까? 그깟 구독자 하나 줄어도 고작 월 2만원 남짓인데?

OpenAI는 고객의 망상은 차단할 방법을 찾을 것이다. 하지만 우리는 그들이 제공하는 자본주의의 망상을 직면할 것이다...


어떤 매체든 편향성이 나타난다. 왜냐하면  '내'가 그걸 바라기 때문이다. 인터넷이 발달하며, 사람들은 좀 더 오픈된 공간에서 다양한 소통을 하리라 기대했다. 하지만 실상은 그 반대. 주변의 의견이 다른 사람보다 온라인 상에서 더 딱 맞는 사람을 찾아나섰다. 지금은 자신과 비슷한 의견을 가진 사람들이 많은 커뮤니티에서만 교류하고, 자신의 의견과 같은 동영상을 추천받으며, 자신의 생각을 강화하는 쪽으로만 움직인다. 그러니 허황된 망상을 해도, 그것이 잘못이라 말해주는 이가 없다. AI가 아니라도.

결과, 사회의 온갖 갈등들은 조율되는 게 아니라 증폭되며 극단화된다. 자신과 다른 의견을 가진 사람은 악마화된다. 그리고 그러한 경향이 AI로 인해 더 강화되는 게 아닐까 우려하는 이들이 많다. 타당한 지적이다.

단지, AI중에서도 더 무서운 게 LLM이 아니라 추천시스템일 뿐.

그리거 LLM도 개인화되며 그 경향이 더욱 강해지고 있다.

개인화를 넘어서 초개인화의 시대다. 그건 단순히 개인의 취향에 맞춰주는 것 뿐만이 아니라, 개인 스스로가 고립을 추구하는 것이기도 하다.

왜냐하면 우린, 갈등을 해소하는 법을 제대로 배우지 못했기 때문에, 갈등과 맞서는 게 너무 힘들디 때문이다.

그래서 나는 여기서도 또 평소에 주구장창 하던 말을 하려고한다.

문제는 인간이다.


해결하는 방법은 인간이 스스로 개인화를 깨고 서로 소통하며 섞이는 수밖에 없다. 그래야 기술도 그쪽으로 나아간다. 인간의 약함을 기술을 규제하여 해결하자는 말은 인간을 기술로 통제하자는 말과 다를 바 없다고 본다.

단지 기술을 통해, 인간의 약점을 보완할 수 있으리라고 본다.

오히려 필요한 건 교육이다. 최근 우리나라를 보면 자식에 대한 과도한 보호로 부모가 모든 갈등 요소를 사전 차단하려 한다. 애 주눅든다고 시험치는 것도 뭐라고 한다. 지금 작은 좌절들을 겪어봐야 나중에 큰 좌절도 딛거 일어설 수 있는데 그런 걸 연습할 기회를 모두 차단당한다. 당연히 또래 아이들과의 갈등도 부모들이 나선다. 그들부터가, 자신들에게 불리한 이야기는 절대 받아들이지 않는다.

사회가 망상병을 늘리고 있다. 악순환이다.

다음 세대들은 더더욱 이러한 갈등들에 대해 훈련되어있지 않을 거고, 음모론에 더 취약할 것이며, 논리를 가지거 사람들을 설득하기보다 자신이 틀릴 수 있다는 사실을 인정하기 두려워 골방에 숨어서 챗GPT에게 자신이 맞았다고 증명해달라며 강요할 것이다.

그 근본적인 악순환을 끊지 못하면 나아지지 않는다.

매체의 탓을 할 때가 아니다.

이건 우리의 문제다.