応答したモデルを記録する — headless パイプラインでモデル実体とコストを突き合わせる

// Before: 出力しか残らない
async function generate(prompt: string) {
  const res = await client.messages.create({
    model: "claude-fable-5",
    max_tokens: 4096,
    messages: [{ role: "user", content: prompt }],
  });
  const text = res.content[0].type === "text" ? res.content[0].text : "";
  appendJsonl("gen.log", { text, tokens: res.usage.output_tokens });
  return text;
}

// After: 要求モデルと応答モデルの両方を残す
import { appendFileSync } from "node:fs";
 
type Attestation = {
  at: string;            // ISO8601
  requestId: string;     // res.id
  requestedModel: string;
  servedModel: string;   // res.model
  inputTokens: number;
  outputTokens: number;
  drift: boolean;        // requested !== served
};
 
async function generate(prompt: string, requestedModel = "claude-fable-5") {
  const res = await client.messages.create({
    model: requestedModel,
    max_tokens: 4096,
    messages: [{ role: "user", content: prompt }],
  });
 
  const rec: Attestation = {
    at: new Date().toISOString(),
    requestId: res.id,
    requestedModel,
    servedModel: res.model,
    inputTokens: res.usage.input_tokens,
    outputTokens: res.usage.output_tokens,
    drift: res.model !== requestedModel,
  };
  appendFileSync("attestation.jsonl", JSON.stringify(rec) + "\n");
 
  return res.content[0].type === "text" ? res.content[0].text : "";
}

// 単価は 100万トークンあたりの USD。最新値は料金ページで必ず確認する。
const PRICE: Record<string, { in: number; out: number }> = {
  "claude-fable-5": { in: 10, out: 50 },
  "claude-opus-4-8": { in: 0, out: 0 },   // ← 最新単価を料金ページから埋める
};
 
function costUsd(model: string, inTok: number, outTok: number): number {
  const p = PRICE[model] ?? { in: 0, out: 0 };
  return (inTok / 1_000_000) * p.in + (outTok / 1_000_000) * p.out;
}
 
function reconcile(records: Attestation[]) {
  let estimated = 0;   // 要求モデル基準（事前見積もり）
  let actual = 0;      // 応答モデル基準（実コスト）
  for (const r of records) {
    estimated += costUsd(r.requestedModel, r.inputTokens, r.outputTokens);
    actual += costUsd(r.servedModel, r.inputTokens, r.outputTokens);
  }
  return { estimated, actual, gap: actual - estimated };
}

function driftGate(records: Attestation[], windowSize = 500, threshold = 0.05) {
  const recent = records.slice(-windowSize);
  if (recent.length === 0) return { ok: true, rate: 0 };
  const drifted = recent.filter((r) => r.drift).length;
  const rate = drifted / recent.length;
  if (rate > threshold) {
    console.warn(`⚠️ drift rate ${(rate * 100).toFixed(1)}% > ${threshold * 100}%`);
    // 直近のズレ内訳を出して原因切り分けを助ける
    const byModel = new Map<string, number>();
    for (const r of recent.filter((x) => x.drift)) {
      byModel.set(r.servedModel, (byModel.get(r.servedModel) ?? 0) + 1);
    }
    console.warn("served breakdown:", Object.fromEntries(byModel));
  }
  return { ok: rate <= threshold, rate };
}

// すべての生成はこの1関数を経由する
export async function callClaude(params: Anthropic.MessageCreateParams) {
  const res = await client.messages.create(params);
  appendFileSync("attestation.jsonl", JSON.stringify({
    at: new Date().toISOString(),
    requestId: res.id,
    requestedModel: typeof params.model === "string" ? params.model : "",
    servedModel: res.model,
    inputTokens: res.usage.input_tokens,
    outputTokens: res.usage.output_tokens,
    drift: res.model !== params.model,
  }) + "\n");
  return res;
}