1M が既定になっても、全部は詰めない — コンテキスト枠を審査する admission policy と劣化曲線の実測

// Before: 入るなら全部入れる（窓が広いのだから、という発想）
function buildPromptBefore(candidates: Candidate[]): string {
  return candidates.map((c) => c.text).join("\n\n");
}

// admission-policy.ts — スロットを審査してからコンテキストを組む
interface Candidate {
  id: string;
  text: string;
  priority: number;   // 大きいほど重要（下の優先順位表に対応）
  estTokens: number;  // 事前見積り（tiktoken 等で概算）
  pinned?: boolean;   // 必ず入れる前提条件など
}
 
interface AdmissionResult {
  admitted: Candidate[];
  rejected: Candidate[];
  usedTokens: number;
  effectiveFill: number;
}
 
function admit(
  candidates: Candidate[],
  opts: { modelWindow: number; effectiveFillCap: number }
): AdmissionResult {
  const budget = Math.floor(opts.modelWindow * opts.effectiveFillCap);
  // pinned を先に確保し、残りを優先度→トークン効率の順で採る
  const pinned = candidates.filter((c) => c.pinned);
  const rest = candidates
    .filter((c) => !c.pinned)
    .sort((a, b) => b.priority - a.priority || a.estTokens - b.estTokens);
 
  const admitted: Candidate[] = [];
  const rejected: Candidate[] = [];
  let used = 0;
 
  for (const c of [...pinned, ...rest]) {
    if (used + c.estTokens <= budget || c.pinned) {
      admitted.push(c);
      used += c.estTokens;
    } else {
      rejected.push(c);
    }
  }
  return {
    admitted,
    rejected,
    usedTokens: used,
    effectiveFill: used / opts.modelWindow,
  };
}
 
// After: 審査を通ったものだけでコンテキストを組む
function buildPromptAfter(candidates: Candidate[]): string {
  const r = admit(candidates, { modelWindow: 1_000_000, effectiveFillCap: 0.55 });
  if (r.rejected.length > 0) {
    console.warn(
      `admission: ${r.rejected.length}件を除外 ` +
      `(実効${(r.effectiveFill * 100).toFixed(0)}% / ${r.usedTokens}tok)`
    );
  }
  return r.admitted.map((c) => c.text).join("\n\n");
}

// effective-cost.ts — 想起精度を代理指標に「有効トークン単価」を出す
interface RunStat {
  inputTokens: number;
  recall: number;        // 0..1（probe の想起精度）
  inputPricePerMTok: number; // 導入価格なら 2、標準なら 3
}
 
function effectiveCostPer1kUseful(s: RunStat): number {
  const inputCost = (s.inputTokens / 1_000_000) * s.inputPricePerMTok;
  // 「有効な」入力トークン ＝ 総トークン × 想起精度
  const usefulTokens = s.inputTokens * s.recall;
  return (inputCost / usefulTokens) * 1000;
}
 
// Before（素通し）と After（審査）の比較
const before: RunStat = { inputTokens: 118_000, recall: 0.75, inputPricePerMTok: 2 };
const after:  RunStat = { inputTokens: 62_000,  recall: 1.0,  inputPricePerMTok: 2 };
 
console.log("before", effectiveCostPer1kUseful(before).toFixed(5));
console.log("after ", effectiveCostPer1kUseful(after).toFixed(5));