안녕하세요, 프리버드입니다.
블로그를 다시 시작하면서 혼자 다 해결할 생각은 없었습니다. 글감을 찾고 자료를 조사하고 사실관계를 확인하는 일까지, 글 쓰는 것 못지않게 일이 많았으니까요. 마침 세상에는 인공지능이라는 편리한 녀석들이 나타났고, 제 나름의 말을 주고받아본 뒤 누구는 남게 되고 누구는 탈락했습니다.
한때 제 블로그의 AI 직원은 셋이었습니다. 지금은 둘입니다. 물론 진짜 직원을 뽑은 건 아니고, AI에게 이름과 역할을 주고 직원처럼 굴렸다는 이야기입니다. 이 녀석들의 성격과 역할은 ChatGPT·Claude·Gemini를 같이 써보니 — AI마다 사람처럼 성격이 다르더라에 적었으니, 이번 글은 그 뒤에 달라진 것들입니다.
목차
처음엔 사람처럼 이야기하는 AI가 좋았습니다
세상의 온갖 AI들 다 써보고 싶었습니다. 그렇지만 몸빵직장인은 아끼며 살아가야 소액투자의 원천 콩고물이 조금 떨어집니다.
처음 기준은 없었습니다. 그러나 소문에 클로드가 제일 사람처럼 이야기한다고 해서 가장 먼저 결제했고, 그러다 또 다른 소문이었던 퍼플렉시티와 제미나이는 보조로 쓰게 되었습니다. 사람처럼 이야기한다고 정확하다는 뜻은 아니지만, 사람 같은 자연스러움이란 대박이었습니다.
이제 와 이야기하지만 클로드의 음성채팅은 그때 당시 정말 구렸습니다. 지금은 많이 좋아지긴 했지만…
대중에게 가장 먼저 알려진 ChatGPT가 출시되었을 때 적당히 써보긴 했는데 뭐랄까 예전 스타워즈의 C-3PO처럼 이야기한다고 해야 할까요, 그런 느낌이어서 별로 기대하지 않았었습니다. 그러다 ChatGPT가 GPT-5로 올라오면서 테스트해 봤는데 말이 청산유수가 됐습니다. 특히 음성채팅은 정말 사람과 이야기하는 것 같아서 충격적이었습니다. 추임새까지 할 줄은 몰랐으니까요. 지금은 그때만큼의 느낌이 없는데, 어디까지나 제 체감입니다만 음성채팅이 실제로 다운그레이드한 느낌이네요. 이 일로 클로드, ChatGPT, 제미나이 3각 체제가 됐습니다.
AI 셋이면 다 잘할 줄 알았습니다
“백지장도 맞들면 낫다”라는 말이 있습니다. 하나보다 둘, 둘보다 셋이 낫겠다 싶었습니다. AI 직원은 손이 없어서 안 맞는 속담일까요? 하여튼 마침 AI가 틀린 말을 사실처럼 한다는 할루시네이션 이야기가 한창 돌던 때라 교차 검증도 시작했고요.
그런데 AI가 늘어난다고 제 일이 주는 게 아니었습니다. 셋에게 물으면 답도 세 개가 옵니다. 읽고, 비교하고, 다시 묻고, 뭘 고를지 정하는 건 결국 저였습니다. AI는 셋인데 그 셋을 상대하는 사람은 한 명이라는 걸 뒤늦게 깨달았습니다.
제미나이 해고 소식은 앞의 글 8월 업데이트에 적었습니다. 한 줄로 줄이면 이렇습니다. 자료는 정말 많이 가져오는데, 교차 검증을 돌릴 때마다 틀린 답이 나왔고, AI는 사용자 친화적이란 이야기를 어디서 들은 것 같은데 그래서 그런지 친절보다는 아부가 심했습니다. 칭찬 들으려고 AI를 쓰는 건 아니라서 퇴사시켰습니다. 다만 제미나이가 다른 AI보다 객관적으로 못하다는 얘기가 아니라, 제가 쓰던 그 시점의 모델과 제 작업 방식에서 느낀 평가입니다.
교차 검증은 틀린 답을 찾는 일만이 아니었습니다
교차 검증이라고 하면 사실 오류만 찾는 걸로 생각하기 쉬운데, 제가 더 자주 쓴 건 글의 방향을 정하는 일이었습니다.
사실 오류는 의외로 쉽게 발견되는 경우가 많았습니다. 한 AI의 답을 다른 AI에게 넘기기만 해도 금방 찾아낼 때가 있었으니까요. 글자 한 개만 바뀌어도 기다, 아니다 하는 놈들이니까요.
정작 손이 많이 가는 건 방향이었습니다. 어떤 소재로 글을 쓸 때 두 AI가 서로 다른 방향을 내놓으면, 한쪽 의견을 다른 쪽에 보여주고 어떻게 생각하는지 묻습니다. 그렇게 서로 검토하다 보면 처음 주장을 고치기도 하고, 아예 뒤집기도 합니다. 이 과정을 반복해서 하나가 남을 때까지 좁혔습니다.
사실 지금 읽고 계신 이 글도 그렇게 완성됐습니다.
ChatGPT가 초안을 작성하고 클로드가 편집했습니다. 그 뒤 ChatGPT에게 다시 보여주고 의견을 받았습니다. 그렇게 서로의 답변을 몇 차례 주고받으며 수정했습니다.
물론 두 AI가 직접 대화한 것은 아닙니다. 제가 중간에서 계속 전달해줬습니다.
서로의 지적을 받아들이기도 하고 잘못 이해한 부분은 바로잡으면서 결국 하나의 원고로 좁혀갔습니다. 그리고 마지막 손질은 제 차지입니다.
그렇다고 AI가 합의해서 도출한 결론을 매번 따르는 건 아닙니다. 제가 방향을 정한 경우도 많았습니다. AI가 제안한 방향이 아무리 그럴듯해도 제가 이해하지 못하거나 알아가면서 한다고 해도 자신이 없으면 그쪽으로 가지 않았습니다. 자신 없는 이야기는 쓰는 저부터 재미없을 게 뻔했으니까요. 제 블로그는 제가 직접 경험하고 발견하고 생각한 걸 적는 곳입니다. 둘이 같은 의견을 내도 제가 납득이 안 되면 다른 길로 갔습니다.
그렇다고 사람이 항상 정답을 아는 것도 아닙니다
한계도 있습니다. 제가 아는 분야라면 AI가 틀렸을 때 알아챌 수 있습니다. 실제로 AI 둘 다 자기네들이 틀린 줄 모르는 걸, 제가 아는 내용이라 직접 바로잡은 적도 종종 있었습니다. 하지만 제가 처음 공부하는 분야라면 얘기가 다릅니다. 두 AI가 같은 답을 내도 같이 틀렸을 수 있고, 저도 그걸 알아채지 못할 수 있습니다.
저는 궁금한 부분은 알아가면서 글을 쓰는 사람이라 이런 일이 언제든 생길 수 있습니다. 그래서 두 AI가 같은 답을 냈다고 정답으로 믿지는 않습니다. 교차 검증은 오류를 줄여줄 뿐, 정확성을 보장해주지는 않으니까요.
결국 AI 둘이면 충분했습니다
지금 생각해보면 셋을 다 둬야 한다는 건 오바였던 것 같습니다. 중요한 건 AI가 몇이냐가 아니라 제 작업에 얼마나 도움이 되느냐였습니다.
지금은 ChatGPT가 기획, 클로드가 편집을 맡고 있습니다. 매번 교차 검증하는 건 아니고, 필요할 때 의견을 확인한 뒤 최종 방향은 제가 정합니다. 둘만 상대하니 제 입장에서도 훨씬 편합니다.
퇴사자도 재입사 시험은 볼 수 있습니다
그렇다고 문을 닫아 둔 건 아닙니다. 제미나이와 퍼플렉시티, 가끔은 그록과 코파일럿까지 틈틈이 다시 써봅니다. 저는 이걸 혼자 AI 입사시험이라고 부릅니다.
목적은 지금 두 직원을 갈아치우는 게 아닙니다. 예전에 맘에 안 들던 녀석이 얼마나 컸는지, 제가 믿고 일을 맡기는 지금의 둘 정도까지 올라왔는지 보고 싶은 겁니다. 사람 일은 모르는 거라, 어느 날 “어? 이 녀석 이제 제법인데?” 싶으면 다른 일을 맡겨볼 수도 있으니까요.
채용 공고도 없습니다. 월급은 월 사용료로 내고 있습니다. 그래도 지원하는 AI는 언제든 환영입니다. 따지고 보면 제가 우겨서 지원시키는 거지만 ㅋ. 어찌 되었건 합격한다고 꼭 채용하는 건 아닙니다. 자리가 없거든요.
이번 입사시험 결과는 다음 글에서 따로 정리하겠습니다.
프리버드의 시선
처음엔 사람처럼 이야기하는 AI가 좋았습니다. 그다음엔 여러 AI를 같이 쓰면 더 좋은 결과가 나올 줄 알았습니다. 그런데 블로그를 운영하면서 생각이 바뀌었습니다. 정보가 많은 것보다 정확한 게 중요했고, AI가 많은 것보다 나한테 맞는 AI를 효율적으로 쓰는 게 중요했습니다.
그리고 AI끼리 의견이 맞았다고 정답이 되는 것도 아니었습니다. 제가 잘 모르는 분야에서는 둘이 같이 틀려도 알아채지 못할 수 있으니까요. AI가 내놓은 답이 맞는지 확인하는 것, 그 답을 내 글에 쓸지 말지 정하는 것. 그건 언제까지나 제 몫이니까요.
AI를 많이 고용한다고 해서 일이 잘되는 것도 아니었습니다.
지금 제 AI 직원은 둘입니다. 당분간은 이 체제로 충분합니다. 다만 제미나이와 퍼플렉시티, 다른 AI에게도 기회는 열어두려고 합니다. 언젠가 더 나은 동료가 나타날지도 모르니까요.
그때까지 입사시험은 계속됩니다.
합격해도 채용은 별개입니다.
사장 마음이니까요.
P.S: 사장은 개뿔~ 사장했다가 망한 슬픈 기억이…