나의 비전

유명한 작품이 있다. 히틀러의 '나의 투쟁'.
 
히틀러는 참 나쁜 놈이다. 하지만 비범한 놈이다. 히틀러는 참 뭣같은 비전을 가지고 있었지만 그걸 실행하고 이뤄내는데는 성공했다. 그 비전이 참 뭣같지만 않았어도 어쩌면 인류사적으로 대단한 위업을 세우는 인물이 되었을지도 모른다. 그의 비전은 다수에게 공감을 샀고, 침체되어 있던 독일을 움직였으며, 그것을 동력으로 집권하는 데 성공했고, 인류 역사상 손에 꼽히는 엄청난 규모의 조직을 움직여냈다.
 
물론 말아먹은 것도 본인이다. 참모들의 조언을 씹고 자신의 미숙한 군사적 안목으로 제멋대로 판단해서 나라를 나락으로 보내기도 했다.
 
하지만 거기에도 본받을 게 있다. 그는 무언가를 바랐고, 그것을 설득했고, 사람들의 공감을 샀고, 밀어붙였다. 그렇게 해서 이미 망할대로 망한 나라가 전세계를 상대로 싸울 수 있도록 만들었다.
 
왜 하필이면 그런 나쁜놈을 예시로 들었냐고 하지 마라. 당신이 그렇게 하지 않는 이유는, 당신의 비전이 히틀러와 같이 민폐적인 비전일까봐가 아니잖나. 오히려 저딴 놈들도 꿈을 가지는데,
 
왜 멀쩡한 사람들이 아무것도 하지 않으려 하는가.
 
 
이런 농담도 있다. 남의 노력을 갑자기 끼어들어 방해하고 훼방놓는 못되먹은 놈들이 바로 정의의 용사들이라고. 악당들은 '세계정복'같은 원대한 꿈을 꾸며 이를 실행하기 위해 온갖 노력을 다하는데, 갑자기 튀어나온 용사놈들이 제멋대로 논리를 펴며 방해한다고. 물론 개그긴 하지만.
 
아무튼.
 
여기선 내가 시도해본 작은 노력을 한번 정리해 보고자 한다.
 
 
사내에서 해마다 조직 환경에 대해 설문을 하는데, 그 중에는 리더들의 비전이 제대로 공유되었는지 묻는 질문들이 있다. 우리 회사의 경영진, 임원, 팀장급들이 어떠한 비전을 가지고 있었을지도 모른다. 하지만 난 그걸 모른다. 가차없이 낙제점을 줬다. 설문이 비공개라고 하지만 어차피 팀단위로 내려오면 작아서 알게 모르게 다 까발려진다는 이야기도 있었다. 하지만 알게 뭔가. 니들 비전이 뭔지 난 전혀 모르겠으니까 모른다고 하는 건데. 꼬우면 가르쳐 주든가.
 
솔직히 내가 그 자리 올라가면 얼마나 더 잘 할지 모르겠다. 언제나 위에는 위가 있고 힘에는 더 큰 책임이 따르는 법이고 난관을 넘으면 또다른 난관이 있기 마련이니까. 하지만 알게 뭔가. 날 그 자리 올려주면 그때 고민할게. 난 그 자리 안 가봐서 모르겠는데 어쩌라고.
 
내가 힘들고, 내가 빡치고, 내가 납득이 안가니까 싸지르는 거다.
 
그게 그렇게 어렵나? 비전 세우는게?
 
난 무슨 세계의 반도체 시장을 정복하라거나 그런 비전을 세우라고 한 적이 없다.
 
 
나는 나름 연구자다. 그런데 회사는 나를 현장에 쳐박았다. 난 사람과 소통하는게 싫어서 컴퓨터랑 소통하는 전산과에 왔다. 그런데 현장 일의 상당수는 고객과 협의하는 것이다. 나는 그 분야에 있어서는 전국의 사람들을 모아놓고 줄세워놓으면 하위 50%에 들 자신이 있다. 그런데 그런 일을 시킨다. 스트레스는 남들의 따불로 받을 것이다. 하지만 피할 수 없다. 우리 회사는 SI 업체이고, 내가 있던 연구소는 요즘 연구 주제를 모르겠다. 안하겠다는 거지. 돌아갈 데도 없다.
 
다른 데로 가면 괜찮나? 요즘 AI 인재들 대접받고 다닌다는데 정작 지원해보면 뽑는 꼴을 못 본다. 내가 떨어져서일지도 모른다. 하지만 실력있는데 갈데 없다는 사람도 많다고 한다. 모르겠다. 밖에 사정도 그리 나아보이지 않는다. 내가 업계 전체를 욕하는 것도 그래서다. 아무리봐도 여긴 아닌 거 같은데, 밖에 나오는 이야기를 들어봐도 더 잘해보이는 데도, 더 진지하게 하는 데도 보이지 않아서다.
 
그래도 난 살아야 한다. 꾸역꾸역 넘겨야 한다. 그래서 그냥 내 방식대로 하기로 했다. 어차피 AI 사업, 정형화된 틀도 방법론도 없고 우리에겐 솔루션도 없다. 내가 꼴리는 데로 해도 딴지 걸 사람도...
 
있지. 고객. 그거 설득하는 것도 내 일이긴 하지만, 어쨌건 내가 하기 나름이다.
 
그래서 정했다. 비전. 꼴랑 3~4명 짜리 팀의 비전이지만.
 
 
나의 비전은, '빌어먹을 데이터, 누구한테 아쉬운 소리 안 하고 만들 수 있게 하자!'였다.
 

LLM에게 일시키고 난 칼퇴하기

 
AI의 A-to-Z 는 데이터다. 이전에는 아니었다. 다양한 모델들을 이해하고 그걸 조합해 설계하는 것도 대단히 중요한 능력이었다. 하지만 지금은 아니다. 물론 모델의 중요성은 전혀 떨어지지 않는다. 하지만 상당수의 연구자들도, 거기까지 가지도 못한다. 산업계는 말할 것도 없다. 회사 연구소에서 모델 개발하기 쉽지 않다. 어지간한 대기업 아니면 From-scratch 모델 (시작부터 학습시킨 모델) 해보기도 되게 어렵다. 빅테크 규모 아니면 새로운 모델 아키텍쳐 설계하기도 어렵다. 아니, 우리만 그럴지도 모른다. 하지만 일반 파인튜닝도 H-100 같은 GPU 2~4개는 있어야 연구가 가능하다. CPT만 해도 10~20개는 있어야 할만하다. From-scratch 모델은 데이터 모으는 것도 빡세다. 그래서 현장 파인튜닝은 현장 데이터로 학습/평가용 데이터 구축하는 것 외에는 애초에 할 수 있는 일이 없다.
 
현장에서 쌩 텍스트로 1GB는 모아야 도메인 CPT를 그나마 시도해 볼 만하다. 근데 그거도 시도다. CPT 하고나면 Instruction Tuning은 다시 해야 한다. 그거 데이터는 또 어디에 있는데? 못한다. 한 프로젝트에서 고객이 검수한 데이터 수천 건도 모을 수 있을 가능성이 거의 없다. 하물며 일반 Task를 위한 데이터까지 모두 모으는 건 엄두도 못 낸다. 그런데 CPT를 하면 Instruction Tuning으로 학습한 문제풀이능력을 많이 잃어버리기 때문에 재학습은 반드시 필요하다. 그러다보니 결국 CPT는 버리고 고객 업무에 특화된 Instruction Tuning 만을 수행하는 게 보통이다.
 
그런데 그것만 해도 학습할 때 수천 건을 모아야 한다. 그리고 앞서 말했지만, 그 수천 건, 고객이 확인 안해준다. 그러다보니 데이터 구축 전문 업체들을 쓴다. 그런데 문제는, 그 업체들은...
 
데이터라는 건 정말 고객의 업무와 딱 맞춰지지 않으면 의미가 없다. 일반적인 질문과 답변은 인터넷에서 많이 긁어올 수 있다. 필요한 건 고객에 맞춘 데이터다. 그러면 고객이 어떤 식으로 업무를 하고, 또는 할 예정이고, 거기서 어떤 식으로 질문을 던질 때 어떤 식으로 답변이 나오길 기대하는지를 고객과 끊임없이 소통해서 맞춰나가야 한다. 고객이 검수 안해주는 만큼 그런 고객 요구사항을 들어 우리가 검수를 해줘야 한다. 그리고 그거 대신 해달라고 업체를 고용하는 거다. 그리고 그들이 다른 프로젝트에서도 그런 데이터 작업을 해온 경험이 있기 때문에 빠르게 고객에 맞춰줄 수 있을 거라고 기대를 하고 고용을 하는 거다. 근데.
 
절대 안해준다. 심지어 내가 정리해 둔 시나리오자료를 줘도 제대로 안 보고 작업할 정도다.
 
애초에 데이터 작업 자체가 대단히 인력 집약적인 일이다. 다수의 사람들을 고용해 직접 작성하는 형식이다. 요즘은 LLM으로 초안을 뽑고 필요한 요건들을 주면 그거에 맞춰 검수해 준다. 그런데 그 요건들을 우리가 정리해 줘야 한다. 우리도 고객한테 들어서 대략적으로만 아는데, 자료를 줘도 스스로 자료 찾아서 맞춰주지도 않는다. 당연히 2단계로 전달되니 제대로 작업이 될 리가 없다.
 
이 글을 보는 데이터 업체 분들로서는 기분 나쁠 수도 있다. 자기들은 안 그렇다고 주장하는 분도 계실지 모른다. 하지만 내가 겪어본 경우들은 그랬고, 그렇게 작업하면서 결과물은 학습에 필요한 수천 건은 커녕 수백에서 1천 건에 불과한 게 일반적이었다. 물론 우리 회사에서 돈을 적게 준게 문제일수도 있다. 하지만 그건 내가 판단할 사항이 아니었다.
 
난 어쨌건 프로젝트에서 LLM 파인튜닝을 담당한 사람이다. 뭐가 됬든 뭐든 해야 하는 사람이다. 협력업체가 안해 주면 내가 해야 한다. 고객한테, '쟤네가 안해줬어요~'라고 징징대봐야 아무 의미가 없기 때문이다. 그래봐야, '그럼 쟤들 왜 데려왔는데?'라는 답변밖에 더 나오겠나. 심지어 계약 결정한 건 나도 아닌데...
 
언제나 일이 그렇다. 타인, 타 부서, 타 회사, 그 외의 모든 종류의 협업에서는 상대가 안해줄 위험성이 있다. 그럼 내가 덤터기 쓸 수 있다. 그럼 해야 할 책임이 있는 사람이 덤터기 쓰기 마련이다. 그런데, 덤터기 썼다고 그 일을 내가 쌔빠지게 다 대신 해주는 건 싫다. 현장은 출퇴근 하는 것 만으로도 진 빠진다. 거리도 멀지만 일단 남의 집이란 것 자체가 기빨린다. 근데 몇명 씩 와서도 못하는 걸 나 혼자 하라고? 미친 짓이다. 내가 분신술을 써서 나를 10명으로 늘려도 불가능하다. 그런데.
 
어라? LLM이 있네? 그럼...
 
LLM에게 데이터 제작, 검수, 평가, 다 할 수 있게 만들어버리면 되는 거 아니야?
 
고로, 나의 비전은 'LLM에게 일시키고 난 칼퇴하기'가 되었다.
 

조직의 목표

프로젝트의 목표는, 고객의 요구에 따라 AI 서비스를 구축해주는 거다. 하지만 여기서 중요한 게 있다. 그건 비전이 아니다. 그건 제약조건이다. 사람들이 이걸 혼동한다. 남의 목표는 비전이 아니다. 제약조건이다. 
 
예를 들어, '돈을 벌자'는 목표가 아니다. 제약조건이다. '회사'라서, 돈을 벌어야 하는 선에서만 일을 할 수 있다는 제약조건인 것이다. 거기서는 아무런 액션 플랜도 나오지 않는다. 그것에 대한 목적성을 조직의 멤버들과 공유할 수도 없다. '고객 가치를 실현하자' 역시 개소리다. 세상 천지 어느 사람이 쌩판 알지도 못하고, 심지어 나한테 싫은 소리만 하는 고객들이 기뻐하게 위한 인생을 살고싶고, 그것에 가슴이 두근거리나. 다른 의미로 두근거리겠지. 빌어먹을 월요병 하면서. 그런 건 비전도 목표도 아니다.
 
하지만 이건 가슴이 두근거린다. '칼퇴하자!'는. 비전이란 그런 거다.
 
하지만 그냥 칼퇴할 수는 없다. 프로젝트의 목표를 어느 정도는 달성하는 선에서 칼퇴해야 하는 것이다. 고객이 만족하는 선에서 칼퇴해야 하는 것이다. 하다못해, 고객이 납득하는 선에서 칼퇴해야 하는 것이다.
 
그렇다면 우리가 칼퇴를 못하게 되는 가장 핵심을 잡아야 한다. 그 놈을 조져서 찍소리 못하게 만들면 칼퇴를 할 수 있다. 그게 바로 데이터였다. 데이터만 있으면 학습은 웬만큼 되고, 그럼 우린 칼퇴할 수 있다. 그럼 그 데이터는 어떻게 만들까? LLM으로 만들지. 남들 다 쓰고, 우리 고객도 이제 쓰려고 하는 AI를 우리도 써도 되잖아.
 
데이터 협력업체와의 계약을 봐도, 아무리 봐도 말도 안 된다. 인건비는 쥐꼬리만큼만 줘서 제작해주는 데이터도 쥐꼬리만큼 그것 가지곤 학습은 엄두도 못 내고 평가도 간당간당하다. 그런데 경험상, 그 데이터의 품질조차도 빨간불이 들어올 게 눈에 보이는 것이다.
 
그럼 해야 할 일은 명확하다. 그들 없이도, 그들 오기 전에, 우리가 다 해버리는 것. 다 할 수 있게 시스템을 갖추는 것. 자동화하는 것. 그렇게 되어야, 우리도 그들에게 발언력이 생긴다. 우린 이만큼 했는데, 너넨? 이라고 말할 수 있게 된다.
 
그런데 나에게 주어진 조직은 고작 3~4명. 그나마 한명은 협력업체 직원이다. 내가 완전 통제할 수도 없고 참여율도 절반이라 이 일만 하는 것도 아니다. 제한된 리소스, 빡빡한 조건이다. 하지만 그렇기에 미리부터 준비해야 한다. 보통 프로젝트는 후반부로 갈수록 점점 더 바빠지기 때문이다.
 
초반에 보고 맞추느라 이것저것 많이 해주다 나중에 가서 일이 몰리면 감당이 안 된다. 그러니.
 
1. 자동화 도구 만드는 걸 가장 우선시한다.
2. 만든 데이터는 만드는 족족 그걸로 고객 귀싸대기를 때린다. 고객이 미리 우리 AI의 품질을 이해하고, 또 검수하느라 바빠야 우릴 덜 괴롭히니까.
3. 시나리오 계획과 보고는 내가 전담하고 밑에서는 개발에 집중하게 한다.
 
그리고.
 
칼퇴한다.
 

실행계획

데이터 자동생성기는 작년에 AI 파인튜닝을 연구 프로젝트로 진행할 때부터 필요성을 느끼고 있었다. 업체 맡기는 건 비용이 장난 아니게 든다. 그에 비해 퀄리티가 우월한가 하면... 글쎄.
 
이미 LLM이 어마어마하게 발전해 버려서 어지간한 문장을 자유자제로 만들 수 있다. 다만 내가 원하는 내용, 내가 원하는 형태를 모두 갖출 수 있느냐는 부족한 감이 있다. 거기까지 되면 파인튜닝을 할 필요가 없지. 하지만 대충 보면서 프롬프트 조정하면서는 꽤 그럴싸한 질문과 답변들까진 만들 수 있다. 그렇다면 그걸 궂이 사람이 만들 필요가 있을까?
 
예를 들어, LLM이 제작하는 데이터의 정확도가 80%라고 치자. 그리고나서 LLM에게 이걸 검수하게 한다 치자. 이것도 80%라고 치자. 그럼 0.8*0.8 = 0.64니 품질은 64%일까? 아니다. 잘된 데이터가 잘못 판정된 건 버린다 치고, 잘못된 데이터가 잘된 걸로 판정나도 저걸 몇 번 씩 다양한 프롬프트로 검증하다보면 웬만큼 걸러지게 되있다. 80% 짜리 엉성한 채망이지만 몇 번 걸러내면 양품을 고를 수 있다. 적어도, 얘가 한 번 걸러 이상하게 나온 샘플들만 봐도 프롬프트를 어떻게 수정해야 개선될지는 판단할 수 있다.
 
80%가 90%, 95%가 될 수도 있는 것이다.
 
LLM이 소량의 사용자 의도의 데이터를 학습하고, 그걸 증강해서 다수의 데이터를 만들고, 그걸 평가해서 그 중에서도 잘된 데이터들을 선별해내고, 그걸 다시 학습하고, 사람에게 또 소량의 데이터로 검사맡고를 반복해서 모델 성능을 올리는 방안을, 난 작년 초부터 필요성을 느꼈고, 해야 한다고 몇 번씩 이야기했다. 하지만 회사는 안했다. 작년만 해도 LLM 도입 사업이 이 정도로 안 떴을 때였으니까.
 
그리고 나도 그렇게 강하게 밀어붙이지도 않았다. 내가 뭐 대단한 위치였던 것도 아니고, 어차피 내가 급한 일도 아니었으니까.
 
그게 내 일이 될 줄이야...
 
데이터 자동생성이야 이론적으로 보면 간단하다. 이미 수많은 모델들이 상용 API로 제공되고 있고, 허깅페이스 사이트에서 온갖 오픈 모델들을 받아다 코드 한 줄 없이 패키지만 설치해서 서빙도 가능하다. 그렇게 해서 서빙되면 제공되는 API는 대개 표준화되어 있어 사용하기도 쉽다. 거기에 정해진 프롬프트로 연달아 넣어 데이터를 주르륵 뽑아내면 그만. 뭘 그 이야기를 이렇게 장황하게 쓰나 하고, 알 만한 사람들은 의아해 할 것이다. 그런데.
 
그거 실제로 코드로 구현해서 돌려본 사람은? 그걸 실제로 프로젝트에서 써먹어 본 사람은? 얼마나 될까?
 
간단한 컨셉도 실제로 해보려면 난관이 많다. 당연히 잘 안 된다. 그리고 그걸 공유 가능한 형태로 패키징해서 애셋화하는 것도 다른 이야기고, 그걸 가지고 워크플로우를 정립하는 것도 다른 이야기이다. 그런데 그거 다 해야 목표가 달성되는 것이다. 왜냐하면.
 
그걸로 일을 자동화까지 해야 우리는 칼퇴를 할 수 있기 때문이다.
 
API 연동해 툴 만들어봤어요, 그걸로 데이터 수십, 수백 건 뽑아봤어요, 그걸로 학습 돌렸어요, 저기 상용 평가인 로지코나 뭐뭐뭐 점수 얼마나 올랐어요, 그딴 거 다 무슨 필요냐. 다음에 새로운 일 하러 모델 튜닝하려면 처음부터 다 다시해야 한다. 그리고 실제 문제는, 일단 프롬프팅부터가 쉽지 않은 문제다. API 한번 써보는 스크립트 짜는 정도로는 어림없다.
 
대단한 프로그램이 필요하다는 게 아니라, 워크플로우를 정립하는 게 중요하다는 이야기다.
 
솔직히, 자동생성 스크립트, 1주에 초안 작성했다. 그동안 여러 차레 버전업하며 기능들 추가했지만 기본 플로우는 변한 거 없다. 그렇게 생성된 데이터, 우리야 데이터 보는데 익숙해서 엑셀로 보는 것도 별 문제 없지만, 고객들은 고작 20건 정도도 정신없다고 해서 웹 기반 데이터 뷰어도 만들어줬다. 그거도 1~2주 걸렸다. 챗GPT가 졸라 잘 만들어 주더라.
 
데이터 생성기, 데이터 뷰어, 시나리오대로 돌아가게 만든 프로토타입 챗봇, 그 외 기타 데이터 처리기 등등등...
 
하지만 실제로 난관인건 2가지. 하나는 우리가 보기에 그럴싸한 데이터를 만드는 데에도 프롬프트를 이리 바꾸고 저리 바꾸고 하는 게 생각이상으로 시간이 많이 걸린다는 것. 이래이래 프롬프트를 짜서 데이터를 쭉 생성하다보면 이런 부분이 이상한 데이터들이 나오고, 저래저래 프롬프트를 짜면 또 다른 이상 데이터들이 나온다. 이상 데이터들 모아 Few-shot으로 넣어 이런 거 만들지 말라고 하면 어떤 건 그래도 만들고 어떨 때는 또 새로운 창의적인 오류 케이스들을 만든다.
 
분명 이전에도 플젝 할때 데이터 자동생성 했던 사람 있을 거 같은데... 프롬프트 가이드라도 받을 수 있으면 좋으련만, 그런게 전혀 공유가 안되니...
 
아무튼간에 개발 기간 내내 시나리오별로 데이터 자동으로 뽑고, 우리끼리 검수하고, 프롬프트 고치고, 다시 뽑고, 적당히 괜찮으면 고객 송부, 피드백 기다리기를 거의 주마다 했다. 거기에서 나온 2번째 난관. 고객이 피드백을 안 준다. 분명 '이거면 됬다'가 아닐텐데도. 으쯔라고...
 
으쯔긴. 그냥 칼퇴해야지. 고객에게는 '피드백 안주면 이대로 학습시킬거임' 때려버리고 그냥 칼퇴해버렸다. 어차피 우리가 봐도 모르는데 더 일을 할 수도 없으니까.
 
그걸 근 2달을 하고 나니 그 워크플로우가 팀 내에서 갖춰졌다. 이제 내가 안해도 팀원들이 알아서 하는 수준이 되었고, 나는 우리 과제에서 또 필요한 시나리오 영역이 있는지 발굴해서 데이터 초안을 던져주기만 하면 되었다. 칼퇴 성공, 팀원들도 칼퇴, 고객들도 슬슬 과제 기간이 후반으로 가니 긴장탔는지 피드백을 주기 시작했고, 이미 데이터 생산은 자동화, 검토도 프로세스 화 되어 돌아가고 있는지라 우리의 부담도 그리 크지 않았다.
 
그리고 덤으로, 데이터 자동생성이 가능하다는 건 평가 프롬프트만 정의하면 자동 평가도 가능하다는 것. 일반적으로 알려진 평가 프롬프트들을 참고하여 자체 평가모델 만들어 평가까지 자동으로 할 수 있게 되었다.
 
과제는 끝날 때 까지 끝나는 게 아니다. 하지만 이 정도면 솔직히 우린 할 거 다 한거 아닌가...
 

확산

솔직히 여기까지 오는데 회사가 뭘 잘해줬냐고, 우리만 쓰고 싶었지만, 친분이 있는 사람들이 다른 프로젝트에 투입되는 마당에 그냥 둘 수도 없어 만들어둔 애셋을 아는 선에선 최대한 배포했다.
 
실전에서 얼마나 잘 이용했을진 모른다. 그건 또 그쪽 팀의 영역인지라.
 
우리 프로젝트는 한동안 큰 이슈 없이 흘러갔고, 현재는 이슈가 있긴 하지만 어차피 본사 지원도 안되고 단기간에 해결될 일도 아니라 그냥 적당한 선까지만 하고 뭉갤 수밖에 없는 일들이라... 없는 거나 다름없다. (LLM 파인튜닝 인력도 없는데에 에이전트를 요구해도... ㅡ.ㅡ;; RAG 챗봇이나 써보고 생각해보라고...) 이 정도면 성공사례가 아닌가 싶고 이런 노하우와 애셋들, 그리고 그것을 활용하는 워크플로우 같은 걸 공유하고 교육하는 체계가 되어있어야 하는데...
 
우리 회사는 일단 사람이 본사에 앉아있는 꼴을 못 본다. 확산은 무슨.
 
하지만 조만간 마무리 단계로 들어가며, 지금까지 개발한 것의 패키지화, 작업 과정의 문서화, 그렇게 해서 배포 가능한 형태로 만드는 게 이 프로젝트에서 나의 마지막 야망이다. 이걸로 모두가 칼퇴에 가까워지기를... 같은?
 

팀웍

솔직히 난 관리자로서 그리 썩 잘하는 편은 아니라고 본다. 이번 과제는 팀원들이 매우 협조적이기도 했고 일도 잘했다. 난 방치형 리더고 귀차니즘이 강해서 알아서 잘하는 분위기에서는 잘 돌아가는데 그게 아니면 어려워지는 편이다. 그래도, 자평이랄까 자뻑하자면.
 
그래도 괜찮은 편 아니었을까?
 
1. 업무 배정이 적절했나?
 
내 팀원들, 여태까지 기간 내내 거의 야근하는 걸 본 적이 없다. 가끔 내가 먼저 갈 때가 있어 그땐 어땠는지 검증이 안되지만, 뭐, 애초에 조직의 목표가 칼퇴였는데 뭘. 대부분 내가 정시 퇴근할 때 같이 퇴근했으니 업무 과중은 아니다. 한편 업무가 부족했나 하면, 그거도 아니다. 업무가 부족할 경우 손이 비어 딴짓을 하거나 뭘 해야 할지 몰라 헤메거나 엉뚱한 사소한 문제에 붙잡혀 진도가 안나가거나 한다. 하지만 주마다 정해둔 목표 매번 거의 달성 했고, 외부 요인 제외하면 스케줄 문제없이 진행됬다. 보고도 꾸준히 나왔고 성과도 적당히 정리됬다.
 
2. 비전의 공유는?
 
난 거의 매주 우리의 목적이 데이터 자동화이며, 빨리 데이터 만들어 고객한테 던지고 칼퇴임을 강조했다. 뭐, 내 목표가 그거라고 다들 그걸 생각하며 일했으리라 생각하진 않는다. 하지만 일한 결과를 보면 안다. 내가 만들어준 베이스 코드를 자기 취향으로 변형시켜 잘 써먹고 있었고, 내가 원하던데로 알아서 프롬프트 테스트해서 데이터 잘 만들고 있었고, 학습해서 평가점수 잘 뽑고 있었다. 분석할 때 어떤 관점에서 할지같은 걸 같이 논의하면 충분한 정도. 내가 생각하던 워크플로우가 돌고 주간 목표들이 달성되고 있다는 건 동의는 몰라도 이해는 충분히 되었다고 본다.
 
3. 커뮤니케이션?
 
내가 가장 중요시하는 게, 팀원들이 업무에 대해 스스럼없이 이야기할 수 있는가, 이다. 팀원들이 트러블을 숨기기 시작하면 일이 되게 까다로워진다. 그리고 그렇게 되는 가장 큰 이유는 '혼내서'다. 사람마다 기질이 달라 혼내는 게 필요한 경우도 있지만, 리더의 피드백이 '현재 문제를 개선 가능한 방향을 제시'하거나, 적어도 '인지했고 이에 따라 일정을 조율하든 대책이 있을 거다'는 것을 확신시키지 못하면 팀원들은 이슈를 말하기 굉장히 어려워진다. 나도 팀원 입장에서 겪어봤고, 이는 업무 진행에 대단히 심각한 문제를 야기한다.
 
커뮤니케이션이 잘 되고 안 되고는 2가지로 파악할 수 있다. 하나는 이슈가 언제 발생했고 그걸 내가 언제 그 중요성을 인지하고 대응하려 하거나, 일정에 반영하였는가. 이슈가 한참 묵은 체로 발견된다면 내가 커뮤니케이션을 잘못한거다. 두번째는 업무와 상관없는 이야기를 얼마나 자유롭게 할 수 있는가. 상대가 스스럼없이 말을 할 수 있는 상대라고 생각하지 않으면 잡담을 못한다. 그리고 두가지 측면에서, 음...
 
괜찮지 않았나 싶다.
 
다만 우리 팀 외부로는 조금 아쉬움이 있다. 이쪽에서 개발한 프롬프트를, 시스템 구축하는 쪽에 빨리 전달해 적용해야 하는데 그런 부분은 잘 안 됬다. 그러니까 나한테 이런 일 좀 시키지 말라고...
 

정리

데이터 자동화는 내 숙원이었다. 원래부터 필요하다고 느꼈고, LLM 연구분야가 점차 지식증류, 평가모델을 이용한 강화학습 등 데이터 자동화 쪽으로 가고 있었으며, 외부 데이터 업체만으론 기술 개발이 어려운 한계를 확인했고, 당장 내 업무 로드를 줄이려면 반드시 필요한 기술이었다. 그건 나의 '동기'였다.
 
데이터 자동화 툴과 워크플로우를 통해 내가 달성하려 한 건 업무 효율화였고, 여기에는 '최소 수천 건의 학습데이터를 확보해야 한다'는 제약조건, '고객이 원하는 데이터셋을 만들어야 한다'는 제약조건이 있었다. 그리고 실제로 우리가 수작업을 하던, 고객 문서를 분석하든 하는 것 만으로는 이것이 제 시간 내에 달성될 수 없다는 문제의식이 있었다. 그래서 '데이터 자동화'로 '칼퇴'를 하겠다는게 내 비전이었고, 거기에 맞춰 업무 계획을 세우고, 필요한 요소들을 정리해서 확보했다.
 
난점은 생각보다 까다로운 프롬프팅, 그리고 고객의 저조한 피드백이었다. 하지만 프롬프팅은 지속적인 팀내 논의로, 피드백 문제는 어차피 과제 말에 급해지면 개선될 문제였기에 초반에는 워크플로우 확립에 집중하여 후반의 로드를 분산하는 쪽으로 진행했고, 현재의 업무 로드를 고려하면 어느정도 효과를 본 것으로 판단된다.
 
아직은 종료 시점이 아니지만 일부 태스크의 성능 향상을 고객이 확인하여 방법론의 효용성도 확인했다. 물론 그간의 칼퇴도 실적이다.
 
나름 성공이라 자평하지만 내 힘만으로 된 건 아니다. 프로젝트 팀내 동료들의 협력도 있었고, 맨날 현장 욕하지만 그래도 우리 현장은 그럭저럭 조건들이 괜찮은 것들이 있던 덕도 있었다. 뭔 대단한 걸 이룬 것도 아니다. 나와 비슷한 경력이 있는 사람이라면 이 정도 생각해서 실행하는 정도는 누구나가 다 할 수 있다.
 
그러니까 중요한거다. 아이폰 만드는 것만 혁신이 아니다. 목표가 분명하과 방법을 확정하면 뭐든 결과가 나오게 되어있다. 설령 이번엔 뭐가 안 되도 다음을 위한 자산이 된다. 최악은 이도저도 안하는 거다.
 
사실 내가 해본 거, 다른 사람은 안해봤을까? 우리 회사 내에 나보다 잘하는 분들 천지다. 그 사람들 먼저 과제 가서 이것저것 해본것들 잔뜩 있을 거다. 그런데 공유가 안되고 자산화가 안되니까 그게 사라져버리는거다. 시험해 본 기술들만 싸그리 다 모아도 어지간한 제품 하나는 충분히 뽑아내고도 남는다. 그런데 그런 과제들이 어느정도 하다가 흐지부지되어 사라져버렸다.
 
연구는 돈 안 된다고 그렇게 갈구더니만 지금은 연구소에서 그나마 파인튜닝좀 한걸로 사업 따서 벌어먹는다.
 

나의 야망

뭐, 회사가 어찌됬든 뭔 상관인가. 평생 날 먹여살려줄 것도 아닌데. 중요한 건 나다.
 
개인적으로도 데이터 자동화 툴을 따로 개발해 하고 있는 게 있다. AI로 소설쓰기... 연재중인 소설가가 되자 시리즈다.
 
덤으로 지금 고민하고 있는 건 AI가 생성한 결과를 비평한 데이터가 소량 주어질때, 이를 내재화하여 품질을 개선할 방법을 찾고 있다. 비평 데이터를 가지고 프롬프트를 고도화하든, 다른 참조 데이터를 만들든 뭐하든, 방법을 찾는 중이다.
 
여기엔 팀은 없지만 비전은 있다. 내 취향의 소설을 자급자족하는 것.
 
세계정복보다 가치있는 일이다.