AI 조현병, 인간의 취약성...

내가 요즘 뉴스를 보는 주 채널이 구글 피드인데 특정 사이트의 글들이 자주 올라온다. 기술 기사들 위주로 보다보니 그런가... 그런 와중 해당 사이트에 특이한 사람이 나타나 어그로를 끌었고, 거기에 여러 사람들의 어그로가 물리며 토론과 논쟁이 벌어졌다. 주로 다굴이었지만.

 

어디인지 언급하면 특정되니 일단 그건 재끼고.

 

다시 한 번 떠올린다. 책 한 권 본 놈이 제일 무섭다. 근데,

 

이젠 책 한 권도 보지 않아도 맛이 갈 수 있다. 세상에나.

 

왜냐하면 챗GPT가 대신 읽어주기 때문이다...

 

 

나도 가끔 혼란할 때가 있다. 내가 아는 분야가 아니더라도, 어? 그거 그냥 GPT한테 물어보면 될 거 같은데 라는 생각이 들 때가 있다. 사실 AI 이전에 인터넷 검색이 되면서 인터넷에서 글 몇 개 읽은 거 가지고 전문가인 척 하는 사람들이 엄청 늘었다. 그리고 더 친절하게 알려주는 AI가 생긴 만큼, 어설프게 알고 썰 푸는 사람들은 늘어날 거고, 이미 쇼츠에는 그런 불확실한 정보로 만든 지식 컨텐츠들이 어마어마하게 많다. 이런 것들은 빠르고 간단하게 지식을 습득하긴 좋지만 그 정확성은 보장할 수 없다. 하지만 그 정확성 부분을 생각하지 않는 사람들이, 그런 가벼운 자료들만 보고서 스스로가 전문가인 양 착각하는 경우는 늘어날 것이다.

 

그게 심화되면, 자신의 지식과 AI의 지식을 구별하지 못하는 상황이 된다.

 

개인적인 느낌으론, 전문가와 좆문가의 가장 큰 차이는, 그 전문 분야에서 자신이 뭘 아느냐가 아니라 자신이 뭘 모르는지 아느냐로 갈리는 듯 하다. 그래서 보면 전문가일수록 겸손하고 좆문가일수록 자신만만하다.

 

그래서.

 

이런 그래프도 있다.

 

더 재미있는 건 저 그래프가 실제로 더닝 크루거 효과와 관련된 그래프가 아니라는 것...

 

https://namu.wiki/w/%EB%8D%94%EB%8B%9D%20%ED%81%AC%EB%A3%A8%EA%B1%B0%20%ED%9A%A8%EA%B3%BC

더닝 크루거 효과

 

아무튼,

 

AI를 잘 쓰는 사람들은 자기가 뭘 모르고, 그래서 뭘 알아봐야 할지 알며, 그걸 AI에게 질문하고, 그렇게 해서 나온 답변을 진리로 믿는 게 아니라 비판적으로 받아들인다. 이들은 AI 답변 중 이상한 답변이 나오면 이를 판단할 줄 아는 역량을 가졌고, 혹시나 모르는 환각 현상이 발생할까봐 레퍼런스를 찾아보며 다각도로 검증한다.

 

하지만 AI를 잘 모르는 사람들은 자신이 무엇을 모르는 지 모르며 관심도 없고, 자신의 지식에 대해 AI의 동의를 구하며 AI가 지지한 사실에 집착한다. 사실 AI는 Preference Learning (선호 학습)에 의해 사용자에게 웬만하면 동의하거나, 사용자의 말이 틀렸더라도 조심스럽게 반응하도록 만들어져 있다. 그리고 그게 아니더라도 AI의 지지 따윈 아무런 도움이 안 된다. AI는 그 사실에 책임을 져야 할 전문가가 아니기 때문이다. 법적으로도 책임을 질 방법이 없는 도구일 뿐이기 때문이다. 그리고 AI는 일반적으로 사실이 아닌 내용이라도 사용자가 창작하는 내용이라고 전제하고 그럴싸하게 답해주고 동조할 수 있다. 하지만 사실의 검증보다는 자신의 주장이 타당하다는 증거만을 원하는 사람은 이를 자신의 생각을 지지해주는 거라고 생각한다.

 

때문에, 근본적으로, AI로 인해 발생하는 정신병이란 건 AI의 문제가 아니라 그걸 사용하는 사람 그 자신의 문제다. 따라서 나는 AI 정신병 문제는 사회에서 해결해줘야 하며, AI 역시 오히려 이를 보조할 수 있는 도구라고 봤다. 저 Preference Learning을 조절하면 특정 개인의 편향된 시각이 보편적 시각과 얼마나 다른지를 오히려 제시해줄 수 있고, 그걸 사람보다도 더 능숙하게 설득해 낼 수 있을 거라고 생각했기 때문이다.

 

https://m.health.chosun.com/svc/news_view.html?contid=2025032802855

‘디지털 상담소’ 정도인 줄 알았는데… 생성형 AI, 정신질환 증상 개선했다 - 헬스조선

 

하지만 생각보다 더 많이, AI로 인한 정신병 유발이 많아지는 듯한 느낌이다.

 

https://m.health.chosun.com/svc/news_view.html?contid=2025080802266

"챗GPT와 대화하다가, 현실·망상 헷갈려"…​ 정신병 발생 우려, 실제 사례 보고되기도 - 헬스조

 

물론 여전히, 나는 이것이 감춰져 있던 현대인들의 정신건강 문제가 AI로 인해 드러나고 있는 것이라고 생각한다. 하지만 또 한편으론, 애초에 이상이 있는 사람의 경우 그 증세가 악화되는 것도 현실인 것으로 보인다. 그만큼 보편적인 AI 서비스는 사용자들의 정신적인 케어를 할 수 있는 능력이 갖춰져야 할 것으로 보인다.

 

다만 문제가 발생한다고 해서 AI 기술 자체를 거부하는 건 옳지 못하다고 본다.

 

가장 근본적인 문제는 현대 사회에 만연한 단절의 문제다. 온 세계를 이어줄 수 있는 인터넷이 오히려 개인의 단절을 심화시켜왔다. 왜냐하면 자신과 생각이 맞는 이들과만 소통할 수 있게 되었기 때문이다. 한편으론 전통적인 농경 사회에서는 좋든 싫든 농사를 지으려면 마을 전체가 협력할 수 밖에 없었지만 현대 사회에서는 직장에서도 인간적인 커뮤니케이션을 하지 않고 일만 하다가 퇴근하면 혼자만의 세계에 갇힐 위험도 커졌다. 개인주의가 발달하며 사람들간의 교류도 줄었다. 1인 가구 증가도 리스크다. 그렇다고 저런게 전부 문제니까 전부 롤백하자? 그것도 맞지 않는 이야기다.

 

새 술은 새 부대에 담아야 한다.

 

사회가 변화했고, 그 변화에도 나름의 이유들이 있었다. 나아진 부분도 있었던 만큼 롤백만이 답이 될 수는 없다. 오히려 전통 사회의 작은 사회의 폐해 문제는 현대의 시골에서도 발생하며 문제가 된다. 그런 마큼 새로운 해법이 필요하다.

 

나는 오히려 감정에 휘둘리지 않는 AI가 좀 더 나은 카운셀러, 나은 롤 모델이 될 수 있다고 본다. 그걸 통해 인간과 교류하고 인간을 성장시킬 수 있다고 본다. 현재는 AI 학습에 막대한 데이터가 필요해 불특정 다수의 데이터를 모두 수집해 반영해 평균적인 지능을 구현하는 수 밖에 없지만, 나중에는 그런 평균적인 지능에서 부족한 부분들을 전문가 피드백을 통해 보완하는 방법들이 나올 것이다.

 

그 때가 되면 우리가 경계해야 할 부분은, 그런 전문가 튜닝에서 긍정적인 요소만이 아니라, 기업의 자본주의 논리로 인해 대중들을 부정적인 방향으로 유도하는, 선동형 AI가 생겨날 위험이다.

 

https://www.datanews.co.kr/news/article.html?no=140562

“AI가 단 10분 설득하면, 정치적 신념도 바뀐다”

 

난 기술 만능주의자가 아니다. 단지, '위험하니까 하지 마'는 인류 역사상 단 한 번도 통한 적이 없다고 볼 뿐이다. 국지적으로, 일시적으로는 통해도 장기적으로, 전세계 전체의 관점에서는 항상 어디선가는 뚫렸다. 결국 문제를 일으키는 게 기술이라면, 그걸 해결하는 기술을 개발하는 것 말고는 방법이 없다.

 

 

현대의 LLM이란 AI의 획기적인 발전이 나타나고 한 가지 놀라운 변화가 있었다. 그건, AI를 통해 오히려 인간의 지능을 탐구하는 노력이 늘어나고 또 드러났다는 점이다. 대체 지능이란 뭘까, 인간의 사고와 AI의 기계적 사고가 뭐가 다를까, 그리고 또 놀라운 게, AI를 학습하는 방법에 인간의 학습과 비슷한 패턴이 나타난다는 점이 있었다.

 

https://zerachiel7.tistory.com/133

AI Brain Rot... 데이터가 부족한 게 아니라 학습 방법이 정립이 안 된 것

 

반대로, AI에서 통했던 학습방법을 사람에 적용할수도 있지 않을까.

 

적어도 AI의 발달은 인류의 지능이란 것을 스스로 돌아볼 수 있는 계기는 되었던 것 같다.

 

 

개인적으로 소설이나 창작물에서 세뇌나 정신조작같은 특수능력을 좋아하지 않는다. 주인공이야 그런 특수능력을 피해가는 무언가가 있기 마련이지만, 그건 인간의 존엄을 너무 짓밟는다. 그 세계에선 내가 애정을 가진 캐릭터가 언제 어느순간 정신조종 당해서 말도 안 되는 일을 벌일 지 모르고, 오히려 그것을 소재로 인간의 존엄이 의도치 않게 박살나는 참사를 작품의 주제로서 그리기도한다.

 

https://namu.wiki/w/%EC%BD%94%EB%93%9C%20%EA%B8%B0%EC%96%B4%EC%8A%A4:%20%EB%B0%98%EC%97%AD%EC%9D%98%20%EB%A5%BC%EB%A5%B4%EC%8A%88

코드 기어스: 반역의 를르슈

 

자세한 내용은 스포이므로 생략.

 

문제는, 실제로 초능력이 아니더라도 인간의 지능과 기억이란 게 매우 취약하다는 데에 있다. 실제로 심리상담사들이 잘못된 이론으로 참극을 만들어버린 대표적인 사례가 있다.

 

https://namu.wiki/w/%EC%9C%A0%EB%85%84%EC%8B%9C%EC%A0%88%EC%9D%98%20%EC%84%B1%ED%8F%AD%ED%96%89%20%EA%B8%B0%EC%96%B5%EC%9D%80%20%EC%96%B5%EC%95%95%EB%90%9C%EB%8B%A4

유년시절의 성폭행 기억은 억압된다

 

실제 AI 모델은 잘 깨진다. 조그만 좋지 못한 데이터가 있거나, 데이터가 편향되거나, 그냥 랜덤으로도 깨질 수 있다. 사람은 그것보다는 훨씬 안전장치가 많다. 하지만 그렇다고 안전한 건 아니다. 현실에도 도박이나 마약 등의 도파민에 절여져 생존에 절대적으로 불리한 행위에 중독된 많은 이들이 존재한다. 전부 인간지능의 강화학습 버그다. 더 가깝게는 유튜브 쇼츠에 뇌가 절여진 사람들은 주변에 허다하다.

 

... 나도 그렇다. 한 번 보기 시작하면 놓을 수가...

 

과연 AI가 그런 인간에게 약이 될지 독이 될지는...

 

좀 더 두고봐야 할 문제로 보인다.