SiliconValley_survivor
SiliconValley_survivor
HomeNotesChatArchiveLeaderboardAbout
Sign in

토큰을 줄인 건 프롬프트 다이어트가 아니었다 코딩 에이전트 Closiro를 운영하며 배운 것

커밋 1,412개와 A/B 실험 기록을 다시 열어 봤습니다. 효과가 입증된 절감, 오히려 비용을 늘린 압축, 그리고 이 숫자들을 만든 측정 하네스 이야기입니다.

SiliconValley_survivor's avatar
SiliconValley_survivor
Nov 4∙ Paid

프롬프트를 짧게 만들었는데 왜 청구 비용은 줄지 않을까? 자체 개발한 코딩 에이전트의 main-release 커밋 1,412개와 A/B 실험 설계, 요청 장부, 실행 영수증을 재검토해 토큰 흐름과 캐시 구조를 시스템 디자인 관점에서 분석했다. 이 글은 성공한 최적화뿐 아니라 비용을 늘린 압축, 품질 검증, 비교 불가능한 지점까지 함께 다룬다.

Introduction

코딩 에이전트의 비용을 낮추려 할 때 가장 먼저 떠오르는 방법은 프롬프트를 짧게 만드는 것이다. 시스템 지시문을 줄이고, 도구 스키마를 단순화하고, 오래된 대화를 요약하면 입력 토큰이 작아진다. 토큰이 적으면 비용도 낮아질 것이라는 가정이다.

실제 운영에서는 이 가정이 자주 실패했다. 같은 내용을 더 짧게 보내더라도 모델이 추가 요청을 하거나, 이미 캐시해 둔 프리픽스가 무효화되거나, 지워진 정보를 다시 읽으면 총 청구액은 늘어날 수 있다. 반대로 개별 요청의 입력 길이가 크게 달라지지 않아도, 공급자 캐시를 유지하고 탐색 요청을 줄이면 전체 비용이 감소했다.

이 문제를 단순한 프롬프트 최적화가 아닌 상태를 가진 요청 시스템의 설계 문제로 봐야 한다. 요청을 조립하는 순서, 세션 식별자, 도구 목록의 안정성, 대화 이력에 대한 변경 방식, 호스트의 완료 판정이 모두 비용을 결정한다. 어떤 설계가 효율적인지는 삭제한 문자 수가 아니라 실제 청구 토큰, 요청 횟수, 해결 품질로 판단해야 한다.

분석의 근거는 자체 코딩 에이전트를 운영하며 수집한 실험 자료다. 여기서 다루는 비교는 외부 CLI 제품을 직접 실행한 결과가 아니라, 명시된 경우를 제외하면 자체 엔진과 백엔드 호출 경로의 결과다. 특히 Claude Code나 Codex CLI에 같은 최적화를 적용해 같은 효과가 나타난다고 결론내리지 않는다.

실험 결과를 읽는 기준

아래의 근거 등급은 원문 기록의 분류를 그대로 따른다. 실험 결과가 유용하다고 해서 사후에 등급을 올리지 않았다.

이 밖에 실험표에 나타나는 묶음, 버그 수정, 무효, 미확인도 원래 표기를 유지한다. 묶음은 여러 변경이 동시에 들어가 인과 효과를 분리하기 어렵다는 뜻이고, 미확인은 관찰된 비용 차이가 특정 메커니즘에서 발생했는지 확인할 수 없다는 뜻이다. 두 표기 모두 입증으로 바꾸어 읽어서는 안 된다.

관측된 핵심 결과를 먼저 정리하면 다음과 같다. 입증된 절감 4건은 Codex 캐시 헤더 −43.5%, gpt-6 최소 도구 세트 −15.8%, Sonnet 5.5 도구 6개 −9.1%, 위치 브리프의 요청 −28%다. 반면 관측 마스킹은 +20.5%, 8K 강제 압축은 +14.1%(과제 1개 실패), Jev 가지치기는 +23–34%로 비용을 늘렸다. Headroom의 −57%는 오프라인 압축량이지 라이브 비용 절감률이 아니다.

즉, 이 아키텍처의 목표는 입력을 가장 작게 만드는 것이 아니라 캐시 재사용을 지키면서 검증된 해결을 가장 적은 비용으로 얻는 것이다.

Problem / Requirements

Problem: 토큰 수를 줄이는 것과 비용을 줄이는 것은 다르다

일반적인 코딩 에이전트 세션은 사용자의 과제를 받은 뒤 도구를 호출하고, 그 결과를 대화 이력에 넣고, 다시 모델에 요청한다. 이 반복 과정에서 시스템 프롬프트와 도구 스키마는 오래 유지되지만, 작업 디렉터리나 도구 가용성, 중간 지시문, 관측 결과는 변할 수 있다.

프리픽스 캐시는 앞부분의 동일성을 활용한다. 따라서 요청 사이에서 바뀐 내용이 어디에 들어가느냐가 중요하다. 변동성이 높은 정보가 안정된 시스템 지시문보다 앞에 들어가거나, 도구 배열이 오락가락하면 뒤에 있는 불변 입력까지 캐시 재사용을 잃을 수 있다. 이 문제는 메시지 길이만 측정하는 관측 방식으로는 구분되지 않는다.

또 다른 실패 형태는 비용을 줄이려는 작업 자체가 새로운 요청을 유발하는 경우다. 오래된 도구 결과를 잘라 내면 모델이 파일을 다시 읽고, 도구를 지연 로딩하면 스키마 설명을 반복 요청하며, 검증 없이 성공을 선언하면 나중에 재작업 비용이 발생한다. 최적화 대상은 개별 프롬프트가 아니라 작업의 시작부터 검증 종료까지 이어지는 전체 실행 경로다.

Functional Requirements (FR)

Non-Functional Requirements (NFR)

여기서 FR과 NFR은 새로운 실험 결과가 아니다. 원문 구현과 측정 경험에서 추출한 시스템 디자인 관점의 요구사항이다. 특히 공급자별 캐시 기능은 공통 인터페이스로 정리할 수 있어도, 실제 적중 조건까지 같다고 가정할 수 없다.

Scope와 Non-goals

범위 안에는 자체 에이전트의 요청 조립, 도구 실행, 캐시 키 전달, 압축, 비용 장부, 검증 하네스가 들어간다. 범위 밖에는 외부 에이전트 CLI에서 동일 성능이 재현됐다는 주장과, 청구서로 확인한 최종 회계 비용이 있다. 뒤에서 소개할 R1 비교 하네스도 구축 상태와 실측 상태를 분리한다.

This post is for paid subscribers

Already a paid subscriber? Sign in
SiliconValley_survivor

미국으로 건너와 실리콘밸리에서 커리어를 다시 설계한 빅테크 엔지니어 펠로우십, 1만명 선택한 AI 서비스 운영중인 개발자의 뉴스레터. 미국 빅테크 인터뷰, AI 기업 채용, 코딩 테스트, 시스템 디자인, OOD, 실전 커리어 전략을 한국어권 개발자 관점에서 풀어냅니다. 문제를 푸는 법보다, 합격하고 성장하는 법에 더 집중합니다.

  • About
  • Archive
  • Sitemap
© 2026 실리콘밸리_생존자 · Privacy ∙ Terms ∙ Collection notice
Start your SubstackGet the app
Substack is the home for writing, podcasting, and media founders.