Attention 만 있으면 된다고 했자나...

https://www.aitimes.com/news/articleView.html?idxno=203416

[10월24일] '트랜스포머' 저자가 "트랜스포머에 질린다"라고 한 이유는 - AI타임스

 

현재의 LLM의 대세가 된 트랜스포머 모델의 기반이 된 논문이 바로, Attention is all you need 란 논문이었다.그리고 이건 언어 AI 영역에서 획기적인 변혁을 일으켰을 뿐 아니라 AI 전분야에 엄청난 파동을 일으킨다.

 

딥러닝이 나오고 모든 머신 러닝 분야에 딥러닝 모델을 적용해보려고 난리를 쳤던 것 처럼, 어탠션이 나오고 그게 또 거의 모든 분야에서 적용해보고 가능성을 평가했으며, 또 어탠션에 기반한 트랜스포머가 나오며 이게 또 거의 전 분야에서...

 

그리고 지금은 트랜스포머에 기반한 VLM 모델이 또 로봇의 영역, 즉 피지컬 AI에까지 침공중.

 

진짜로 Attention is all you need, Transformer is all you need 인 시대이다.

 

그러다보니 저런 이야기가 나오는 것도 이해는 간다. 그런데 저자 본인이 저러는 것도 신기. 다만 트렌스포머 나올 떄 까지는 정말 낭만의 시대였던 건 맞다. 다양한 모델들이 나오며 획기적으로 성능이 향상되며 이전에는 불가능하다 여겼던 게 갑자기 되기도 하며 AI 연구자들은 '대체 우린 어디까지 할 수 있을까'라며 흥분해 있던 시대였다.

 

다만, 그렇다고 지금이 안전만을 찾고 연구가 위축되어 있는건가 하면 글쎄. 다소 그런 부분도 있지만 그건 전체 AI 영역에서 어느정도 안전을 추구해야 하는 사업의 비중이 늘어났기 때문이지 연구의 영역이 축소된 건 아니라고 본다. 그리고 연구의 영역도 정체되어 있는 것과는 거리가 멀다.

 

내가 보기에 가장 큰 문제는.

 

우리는 아직 트랜스포머의 끝을 모른다.

 

새로운 모델을 개발하는 건 무언가 Breakthrough 가 필요하기 때문이다. 그런데, 이놈은 거칠 게 없다 Break 할 장벽이 보이지 않는다. 그야 저 정도 대가에게는 보일지 몰라도 보통의 사람들에게는 보이지 않는다. 그러니 돌파를 하기 위해 길을 탐색하는 게 아니라, 일단 이 길의 끝을 향해 달리는 수밖에 없다.

 

물론 그렇다고 AI 분야에 지금 난제가 없는 건 아니다. 다만 그게 현재의 트랜스포머 모델의 한계가 아니라, 다른 부분에서 해결을 봐야 할 것으로 보인다는 게 문제. 예를 들어, 모델이 점점 비대해져 가던 문제는 모델 양자화, 모델 증류, MoE, 파인튜닝 방법의 고도화 등등으로 크게 개선되었고, 또 계속 개선되고 있으며, 추론의 고도화 역시 CoT를 기반으로 한 추론 모델, 전문가 모델 구성과 모델 라우팅 방법 등등이 고려되고 있다. 컨텍스트 크기 한계도 이미 백만 토큰 이상까지 늘어났다. 지식 시스템도 RAG를 통해 보완되었다.

 

모델이 바뀌더라도 저런 기술들은 그대로 쓰이거나 활용될 여지가 많다. 그리고 대부분 어차피 필요한 기술이다. 그런데 왜 굳이 이미 잘 되고, 뭘 못하는지 확인도 안 된 모델을 개선하느라 시간을 쏟을까. 이미 할 게 많은 게 문제다.

 

물론 모델에 개선의 여지가 전혀 없다고 보지 않는다. 누군가 새로운 패러다임을 제시한다면, 그게 당장 트랜스포머보다 떨어지더라도 나로서는 대단히 흥미깊게 볼 것이다. 내가 당장 시험해 보고 싶은 부분도 있다. 단지 난 학계가 아니라 기업에 있어서 못할 뿐...

 

저걸 계기로, 또 새로운 모델에 도전해 보는 이들이 나오고 그들이 주목받으며 더 지원을 받으면 좋겠다.

 

하지만 기존에 연구하던 분들도 기죽지 않고 계속 잘 해 나갈 수 있으면 좋겠다.