AI Brain Rot... 데이터가 부족한 게 아니라 학습 방법이 정립이 안 된 것

https://www.news1.kr/world/general-world/5950254

"AI도 뇌 썩는다"…쓰레기 정보 학습시키자 추론력 약화·사패 성향

 

재미있는 연구라 일단 스크랩

 

LLM을 학습하며 당연히 정크 데이터가 학습에 들어가면 정크스러운 결과 나오는 건 알고 있었지만, 이건 또 신박한 연구인 듯 하다.

 

원래 LLM 모델 망가지기 가장 좋은 건 의미없는 문자 나열, 반복되는 문구, 비문 등으로, 이런 게 들어가면 LLM도 반복문을 발생시키거나 하는 식으로 모델이 망가지는데, 이게 생각 이상으로 민감하다. 굉장히 적은 양의 오류 데이터로도 모델이 망가질 수 있다.

 

이유는 간단하다. LLM이 학습하는 영역인 언어의 세계는 굉장히 광활한 세계인데, LLM이 학습하는 방식은 그 광활한 언어의 세계에서 현재 상황에 가장 가까운 대답을 뽑아내는 것이기 때문이다. 그건 옛날 챗봇 방식 아니냐고? 옛날에는 그냥 가까운 샘플 (Nearest Neighbor) 를 출력했고, 지금의 LLM은 Interpolation 된 결과를 출력하는 거라고 보면 된다. 그래서 학습 데이터와는 다르지만, 결과적으론 학습된 데이터들이 믹스된 문장을 생성하게 된다.

 

그런데 그 중 하나가 정크라면? 그 정크 주변에 찍히는 상황에서는 LLM도 정크를 출력하게 된다. 그런데 언어의 세계는 대단히 넓기 때문에 그 정크가 커버하는 영역이 생각 이상으로 커지는 것이다.

 

뭐, 단순 개념적으로 말하면 그렇다는 거고, 내부적으론 더 복잡한 구조지만, 그렇다고 그게 정크를 막아낼 수 있는 구조인 건 아니다.

 

결과적으로, 나는 애초에 LLM 학습에 이런 정크를 스스로 분별하여 학습하는 기술이 필요하다고 생각했다. 나아가 실 사용자 데이터로부터 데이터 퀄리티, 사용자 반응, 비평자 모델 등을 통해 자동으로 학습 데이터를 구축하고 이를 학습 및 평가하는 파이프라인이 필요하다고 생각했지만...

 

현실은 뭐...

 

 

한때 전세계 인터넷 데이터를 LLM 기업들이 싸그리 긁어모으고 그러고도 데이터 부족하다, 심지어 AI가 생성한 데이터가 유입되면서 쓸만한 데이터가 고갈되어 LLM이 퇴보할거다 하는 이야기가 돌았지만, 글쎄. 내가 보기엔 지금도 데이터가 넘치고 AI 데이터로 AI가 학습? 오히려 더 좋은 방향이다. 단지 양질의 데이터를 생성하고, 정제하고, 평가하는 방법론이 확립이 안 되어 있기 때문에 그걸 못하는 거고, 반대로 양질의 데이터를 분별하지 못하니 그 많은 데이터가 있어도 정크 투성이고 그걸 극복하기 위해 더 많은 데이터가 필요한 거라고 본다.

 

필요한 건 데이터가 아니라, AI가 데이터를 생성하고, 평가하고, 정제하여 학습하는 루프 속에서 최소한의 데이터만 사람이 라벨링하고 방향성을 가이드해 주면 되는 학습 루프다. 그게 된다면 AI는 스스로 발전하는 단계에 이를 것이다.

 

왜냐하면.

 

그게 사람이 학습하는 방법이니까.

 

 

한편,

 

https://zdnet.co.kr/view/?no=20250714104311

"정신질환자 망상·충동 따랐다"…생성형 AI 챗봇 위험성 '경고'

 

AI가 AI가 생성하는 데이터를 학습하면서 모델이 붕괴할 거란 예상과는 반대로, AI가 개인화되며 사용자의 데이터를 학습해 이를 반영해 사람에게 들려주니 사람이 먼저 붕괴하기 시작했다...

 

AI의 모델 붕괴를 우려했던 상황 자체는 허황된 건 아니었다. 그건 일종의 근친교배 문제다. AI가 자체적으로 생성한 데이터를 도로 학습하면서 내재되어 있던 정크 요소가 재학습되고 증폭되면서 모델의 답변 다양성은 떨어지고 언어적으로 붕괴하는 현상을 우려하던 것이다. 하지만 사람은 사람끼리 대화하고 의사소통을 하며 오히려 언어적으로 발전한다. 그건 서로 다른 사람들이 교류하며 다양성이 늘어나고, 서로가 평가하며 상대의 반응에 따라 언어를 제어하면서 오류가 수정되기 때문이다.

 

그런데 현대 사회는 반대로 가고 있다. AI가 아니더라도 인터넷에서 자신과 비슷한 생각을 하는 사람들과만 만나고 의사소통을 하려 하고 생각이 다른 사람의 말은 들으려 하지 않는다.

 

잘못된 생각이, 오류가 교정되는 게 아니라 오히려 증폭된다. 사고의 근친교배다.

 

현재의 AI의 문제는 사용자의 피드백을 무비판적으로 수용하며 개인화를 통해 정신이 건전하지 못한 사람에게까지 맞추다보니 발생하는 문제다. 다만 이건 LLM 챗봇이 아니더라도 광범위하게 발생하고 있다. 유튜브의 추천 시스템도 그렇고, AI가 개입되지 않는 커뮤니티 활동도 그렇다.

 

 

결국은 사람도 AI도, 우리는 어떻게 학습시켜야 하는지 모른다. 그리고 사람도 AI도 부적절한 정크 데이터가 잔뜩 들어오며 망가지고 있다. 그리고 사람의 경우, 인터넷이 발달하며 그런 경향이 더 심해지고 있다. 하지만.

 

제품으로 나오는 AI는 정크만 내뱉는 형태로는 팔리지 않는다. 어떻게든 기술자들은 이 문제의 해결책을 내놓을 것이다. 물론 거기에는 자본의 논리가 들어가는 리스크가 존재하지만.

 

디스토피아를 걱정하기보단, 좋은 가능성을 생각해보면,

 

어쩌면 잘 훈련된 AI 교사와 상담원을 언제든지 만날 수 있는 환경이 오지 않을까. 사용자가 기분이 상하지 않도록 하면서 동시에 보편적이고 체계적인 사고를 유도할 수 있는 AI가 만들어지지 않을까 하는 생각을 해본다.