이번 주 실리콘밸리에서 열린 AI 컨퍼런스에서 재밌는 이야기가 나왔습니다. AI 스타트업 Meibel의 CEO가 "모든 걸 AI한테 넣으면 토큰만 수백만 개 날린다"고 했고, 현장 엔지니어들은 AI 에이전트 시스템을 "혼란스럽다(chaotic)"고 표현했습니다.
엔비디아 CEO 젠슨 황이 "AI 에이전트가 다음 ChatGPT"라고 했는데, 정작 만드는 사람들은 아직 안정적이지 않다고 인정한 겁니다. 저도 클로드 코드를 두 달 동안 매일 쓰면서 비슷한 걸 느꼈습니다.
AI는 전지전능하지 않았다
처음에는 솔직히 기대가 컸습니다. AI한테 시키면 뭐든 되겠지. 블로그 글도 쓰고, 코드도 짜고, 일정도 관리하고. 실제로 그렇게 시켰습니다.
결과가 어땠냐면, 되긴 됩니다. 근데 방향이 없으면 AI가 만들어내는 게 점점 늘어납니다. 불필요한 기능을 추가하고, 물어보지도 않은 걸 "개선"하고, 한 번에 너무 많은 걸 하려고 합니다. 나무로 치면 가지가 사방으로 뻗어나가는 상태입니다.
CNBC가 보도한 것처럼, 실리콘밸리 현장에서도 같은 얘기가 나옵니다. AI 에이전트 시스템은 여러 부분이 서로 연결되어 있어서, 한쪽을 바꾸면 다른 쪽이 흔들립니다. "상호의존성이 이걸 어렵게 만든다, 사실 혼란스럽기까지 하다"는 게 현장 엔지니어의 말입니다.
가지치기 없는 AI는 일을 늘린다
제가 두 달 동안 가장 많이 한 일이 뭔지 아십니까. AI한테 일을 시키는 게 아니라, AI가 만들어낸 것 중에서 필요 없는 걸 쳐내는 일이었습니다.
블로그 글 하나를 쓰라고 시키면 글은 나옵니다. 그런데 거기에 불필요한 서론이 붙고, 같은 말을 돌려서 반복하고, 있어 보이려고 어려운 단어를 섞습니다. 그걸 다 걷어내고 나면 남는 건 원래 제가 말하려던 핵심 두세 줄입니다.
코드도 마찬가지였습니다. "이거 만들어줘"라고 하면 잘 만듭니다. 그런데 시키지 않은 에러 처리, 안 쓸 옵션, "나중에 필요할 수 있는" 기능까지 덤으로 붙여놓습니다. 나무가 양분을 가지 끝까지 보내느라 정작 열매 맺을 에너지가 없는 것과 같습니다.
뾰족하게 쓰는 게 답이었다
깨달은 건 단순합니다. AI한테 "알아서 해"라고 하면 안 됩니다. "이것만 해"라고 해야 합니다.
저는 지금 AI한테 일을 시킬 때 세 가지를 먼저 정합니다.
1 이번에 할 일이 정확히 뭔가
"블로그 글 써줘"가 아니라 "이 뉴스를 비개발자 시각에서 해석해서, 3000자 이내로 써줘." 범위를 좁히면 AI가 딴짓할 여지가 줄어듭니다.
2 하지 말아야 할 것은 뭔가
"어려운 전문 용어 쓰지 마", "시키지 않은 기능 추가하지 마", "같은 말 반복하지 마." 안 할 것을 알려주면 가지가 덜 뻗어나갑니다.
3 끝나면 뭐가 나와야 하는가
완성된 결과물의 형태를 미리 정해둡니다. "HTML 파일 하나", "캡션 텍스트 200자". 출구를 정해놓으면 AI가 그쪽으로 수렴합니다.
나무를 가꿀 때도 똑같습니다. 어디로 자랄지 정해주고, 쓸데없는 가지는 쳐내고, 양분이 갈 곳을 배분하는 겁니다. AI도 마찬가지입니다. 어떤 데이터를 넣을지 골라주고, 어디로 갈지 방향을 잡아주고, 안 쓸 기능은 쳐내야 합니다.
실리콘밸리도 같은 결론을 내리고 있다
Fortune은 올해 3월 기사에서 "AI 에이전트의 능력은 늘고 있지만 신뢰성은 따라가지 못하고 있다"고 보도했습니다. 기업 현장에서 AI 에이전트가 맡은 작업 3건 중 1건이 실패한다는 데이터도 나왔습니다.
토큰 비용도 문제입니다. 투자자 제이슨 칼라카니스는 자기 조직에서 클로드 API 에이전트 비용이 하루 300달러, 연간 약 1억 6천만 원까지 치솟았다고 밝혔습니다. 근데 그 에이전트가 실제로 대체한 업무는 직원 업무의 일부에 불과했습니다.
AI가 못하는 게 아니라, 뭘 시킬지 명확하지 않은 채로 시키니까 이것저것 다 하려다 토큰만 소모하는 겁니다. 나무한테 "알아서 자라"라고 해놓고 열매가 안 열린다고 불평하는 것과 같습니다.
자주 묻는 질문 (FAQ)
Q. AI를 뾰족하게 쓴다는 게 구체적으로 뭔가요?
한 번에 한 가지만 시키는 겁니다. "블로그 글 쓰고 이미지도 만들고 SNS 캡션도 써줘"가 아니라, 글 쓰기 → 검수 → 캡션 작성을 단계별로 나눠서 시키면 각 결과물의 품질이 확 올라갑니다.
Q. 비개발자도 AI를 이렇게 관리할 수 있나요?
오히려 비개발자가 유리합니다. 개발자는 AI한테 복잡한 시스템을 한 번에 만들라고 시키는 경향이 있는데, 비개발자는 "이거 하나만 해줘"라고 말하는 게 자연스럽습니다. 그게 정확히 맞는 방법입니다.
Q. 클로드 코드 말고 다른 AI도 마찬가지인가요?
네. ChatGPT든 제미나이든, 범위를 안 좁히면 AI는 기본적으로 "많이 만들어내려고" 합니다. 어떤 AI를 쓰든 가지치기 원칙은 동일합니다.
정리하며
실리콘밸리에서 수십억 달러를 쏟아붓는 사람들도 AI 에이전트의 토큰 낭비와 혼란을 인정하고 있습니다. AI를 두 달 써본 비개발자인 제가 느끼는 것도 결국 같습니다. AI는 전지전능하지 않습니다. 도구입니다. 좋은 도구는 쓰는 사람이 방향을 잡아줘야 진짜 힘을 발휘합니다.
나무는 뿌리가 튼튼하고 가지치기가 제대로 되어야 열매를 맺습니다. AI도 똑같습니다. 명확한 목표라는 뿌리를 내리고, 불필요한 것을 쳐내는 가지치기를 꾸준히 해야 쓸 만한 결과가 나옵니다. "AI한테 다 맡기면 된다"는 시대는 아직 안 왔습니다. 어쩌면 안 올 수도 있습니다. 지금 중요한 건, 내가 AI로 뭘 할 건지 뾰족하게 정하는 일입니다.
이 글이 도움됐다면 다음 글도 확인해보세요
AI가 다 해주는 시대, 남는 경쟁력은 실행력과 판단력뿐이다 →
참고 자료
· CNBC — Silicon Valley's AI agent hiccups: Wasted tokens and 'chaotic' systems
· Fortune — AI agents are getting more capable, but reliability is lagging
· CIO Korea — 토큰 비용이 연봉 넘는 시대 온다? AI 에이전트 과금 폭증에 IT 업계 경고
댓글
댓글 쓰기