20万トークンの崖で夜間バッチの請求が跳ねた — count_tokens プリフライトで長コンテキスト単価を避ける

import os
import anthropic
 
client = anthropic.Anthropic(api_key=os.environ["ANTHROPIC_API_KEY"])
 
TIER_BOUNDARY = 200_000   # 長コンテキスト単価に切り替わる境界
SAFE_CEILING = 180_000    # 安全マージン。私はこの1割手前を上限に運用しています
MODEL = "claude-sonnet-5"
 
def count_input_tokens(system, messages, tools=None):
    """送信前に入力トークン数を見積もる。
    count_tokens は課金対象外で、レート制限も消費しません。"""
    resp = client.messages.count_tokens(
        model=MODEL,
        system=system,
        messages=messages,
        tools=tools or [],
    )
    return resp.input_tokens
 
def preflight(system, messages, tools=None):
    tokens = count_input_tokens(system, messages, tools)
    if tokens <= SAFE_CEILING:
        return "send", tokens    # そのまま送信
    if tokens <= TIER_BOUNDARY:
        return "warn", tokens    # 崖の直前。記録を残して送信
    return "block", tokens       # 長コンテキスト単価に入る。要対処
 
decision, tokens = preflight(system_prompt, history)
print(f"input={tokens:,} decision={decision}")
 
# 期待する出力の例:
#   input=176,320 decision=send
#   input=204,880 decision=block

def compact_history(messages, keep_recent=6):
    """古いターンを要約に畳んで境界の内側に戻す。
    直近 keep_recent ターンは原文のまま残します。"""
    if len(messages) <= keep_recent:
        return messages
    old, recent = messages[:-keep_recent], messages[-keep_recent:]
    rendered = "\n".join(f'{m["role"]}: {m["content"]}' for m in old)
    summary = client.messages.create(
        model="claude-haiku-4-5",   # 要約は安価なモデルで十分です
        max_tokens=1024,
        messages=[{
            "role": "user",
            "content": "次の会話を、後続タスクに必要な事実だけ箇条書きで要約してください:\n" + rendered,
        }],
    ).content[0].text
    return [{"role": "user", "content": f"[これまでの要約]\n{summary}"}] + recent

import Anthropic from "@anthropic-ai/sdk";
 
const client = new Anthropic();
const TIER_BOUNDARY = 200_000;
const SAFE_CEILING = 180_000;
const MODEL = "claude-sonnet-5";
 
type Decision = "send" | "warn" | "block";
 
async function preflight(
  system: string,
  messages: Anthropic.MessageParam[],
): Promise<{ decision: Decision; inputTokens: number }> {
  const { input_tokens } = await client.messages.countTokens({
    model: MODEL,
    system,
    messages,
  });
  let decision: Decision = "send";
  if (input_tokens > TIER_BOUNDARY) decision = "block";
  else if (input_tokens > SAFE_CEILING) decision = "warn";
  return { decision, inputTokens: input_tokens };
}
 
// 使用例
const { decision, inputTokens } = await preflight(systemPrompt, history);
console.log(`input=${inputTokens.toLocaleString()} decision=${decision}`);
if (decision === "block") {
  throw new Error("長コンテキスト単価の境界を超過。圧縮または分割が必要です");
}