Cloudflare AI Gateway を Claude の手前に置くと、見えるはずの数字が見えなくなる — 運用で効いた計装メモ

// 共有してよい FAQ 系: 名前空間を切って取り違えを防ぐ
const faq = await gatewayChat(
  {
    model: "claude-haiku-4-5",
    max_tokens: 512,
    system: "カスタマーサポート担当として簡潔に答えてください。",
    messages: [{ role: "user", content: "国内配送の返品ポリシーを教えてください" }],
  },
  ctx
);
// ↑ 呼び出し側ヘッダで以下を付与する（gatewayChat を拡張して渡す）
//   "cf-aig-cache-ttl": "3600"
//   "cf-aig-cache-key": "faq:returns:domestic"   ← トピックを名前空間で固定
 
// 個別性が高い・最新性が要る呼び出しはキャッシュを外す
const summary = await gatewayChat(
  {
    model: "claude-sonnet-4-6",
    max_tokens: 1024,
    messages: [{ role: "user", content: `注文 ${orderId} の状況を要約して` }],
  },
  ctx
);
//   "cf-aig-skip-cache": "true"

// フォールバックが起きたかを呼び出し側で検知して記録する
export async function chatWithFallbackTrace(
  params: Anthropic.MessageCreateParamsNonStreaming,
  ctx: CallContext,
  expectedModel: string
) {
  const res = await client.messages.create(params, {
    headers: {
      "cf-aig-metadata": JSON.stringify({ ...ctx, expectedModel }),
    },
  });
 
  // 実際に応答したモデルは戻り値の model に入る
  const served = (res as { model?: string }).model ?? "unknown";
  if (served !== expectedModel) {
    // 静かな品質低下を「イベント」として残す（後で頻度を集計する）
    console.warn(
      JSON.stringify({
        kind: "fallback_served",
        runId: ctx.runId,
        expectedModel,
        served,
        ts: new Date().toISOString(),
      })
    );
  }
  return { res, served, degraded: served !== expectedModel };
}

// src/lib/budget-gate.ts — 呼び出し前に当日コストを確認して止める
interface BudgetState { date: string; spentUsd: number; }
const DAILY_CAP_USD = 5; // ワークロード単位の上限
 
export async function withinBudget(
  read: () => Promise<BudgetState>,
  write: (s: BudgetState) => Promise<void>,
  estimateUsd: number
): Promise<boolean> {
  const today = new Date().toISOString().slice(0, 10);
  const state = await read();
  const base = state.date === today ? state : { date: today, spentUsd: 0 };
 
  if (base.spentUsd + estimateUsd > DAILY_CAP_USD) {
    return false; // 上限超過 → 呼び出さない
  }
  await write({ date: today, spentUsd: base.spentUsd + estimateUsd });
  return true;
}
 
// 使い方（Cloudflare Workers の KV を読み書きに使う想定）
// const ok = await withinBudget(readKV, writeKV, estimateForRequest(params));
// if (!ok) { return new Response("budget exceeded", { status: 429 }); }

// worker.ts — 入口で予算→生成→按分を一筆書きにする
export default {
  async fetch(req: Request, env: Env): Promise<Response> {
    const ctx = { site: "claudelab", workload: "daily", runId: crypto.randomUUID() };
 
    const ok = await withinBudget(
      () => readBudget(env.KV, ctx.workload),
      (s) => writeBudget(env.KV, ctx.workload, s),
      0.02 // この呼び出しの概算コスト
    );
    if (!ok) return new Response("budget exceeded", { status: 429 });
 
    const { res, degraded } = await chatWithFallbackTrace(
      {
        model: "claude-sonnet-4-6",
        max_tokens: 1024,
        messages: [{ role: "user", content: await req.text() }],
      },
      ctx,
      "claude-sonnet-4-6"
    );
 
    return Response.json({ degraded, content: res.content });
  },
};