Claude API のドキュメント抽出が「自信満々に間違える」とき — 沈黙する誤りを不変条件で捕まえる運用メモ

// src/calibration.ts
type Sample = { reported: number; failed: boolean }; // failed = 不変条件違反 or 不一致
 
export function calibrate(samples: Sample[], bins = 5) {
  const table = Array.from({ length: bins }, (_, b) => ({
    range: [b / bins, (b + 1) / bins] as [number, number],
    n: 0,
    failed: 0,
  }));
  for (const s of samples) {
    const idx = Math.min(bins - 1, Math.floor(s.reported * bins));
    table[idx].n++;
    if (s.failed) table[idx].failed++;
  }
  // 実測の誤り率を「補正済み信頼度」として返す
  return table.map((t) => ({
    reportedRange: t.range,
    empiricalErrorRate: t.n ? t.failed / t.n : null,
  }));
}

// src/extract.ts
import Anthropic from "@anthropic-ai/sdk";
import { validateInvoice, type FieldFault } from "./validate";
 
const client = new Anthropic();
 
// 一段目: 全体抽出（安いモデル）
async function extractAll(docText: string): Promise<unknown> {
  const res = await client.messages.create({
    model: "claude-sonnet-4-6",
    max_tokens: 2048,
    system:
      "請求書から指定スキーマで抽出し、JSONのみ返す。書かれていない値はnull。推測で埋めない。",
    messages: [{ role: "user", content: docText }],
  });
  return JSON.parse(textOf(res));
}
 
// 二段目: 落ちたフィールドだけ名指しで取り直す（上位モデル）
async function reextractFields(
  docText: string,
  faults: FieldFault[]
): Promise<Record<string, unknown>> {
  const fields = [...new Set(faults.map((f) => f.path.split(".")[0]))];
  const res = await client.messages.create({
    model: "claude-opus-4-8",
    max_tokens: 1024,
    system:
      "次のフィールドだけを請求書から厳密に読み直す。各値の根拠となる原文の断片もquoteとして返す。書かれていなければnull。",
    messages: [
      {
        role: "user",
        content:
          `対象フィールド: ${fields.join(", ")}\n` +
          `検算で矛盾した箇所:\n` +
          faults.map((f) => `- ${f.path}: ${f.message}`).join("\n") +
          `\n\n--- 原文 ---\n${docText}`,
      },
    ],
  });
  return JSON.parse(textOf(res)) as Record<string, unknown>;
}
 
export async function extractInvoice(docText: string) {
  const first = await extractAll(docText);
  let v = validateInvoice(first);
  if (v.ok) return { data: v.data, passes: 1, faults: [] };
 
  // 落ちたフィールドだけ上位モデルで補修してマージ
  const patch = await reextractFields(docText, v.faults);
  const merged = { ...(first as object), ...patch };
  v = validateInvoice(merged);
 
  return {
    data: v.ok ? v.data : undefined,
    passes: 2,
    faults: v.faults, // 二段目でも残れば人手へ
  };
}
 
function textOf(res: Anthropic.Message): string {
  const block = res.content[0];
  const t = block.type === "text" ? block.text : "";
  const m = t.match(/```json\s*([\s\S]*?)\s*```/) || t.match(/\{[\s\S]*\}/);
  return m ? (m[1] ?? m[0]) : t;
}

// src/metrics.ts
type Run = { faults: { path: string }[]; fields: string[] };
 
export function fieldErrorRates(runs: Run[]) {
  const total: Record<string, number> = {};
  const bad: Record<string, number> = {};
  for (const r of runs) {
    for (const f of r.fields) total[f] = (total[f] ?? 0) + 1;
    for (const fault of r.faults) {
      const head = fault.path.split(".")[0];
      bad[head] = (bad[head] ?? 0) + 1;
    }
  }
  return Object.keys(total)
    .map((f) => ({ field: f, rate: (bad[f] ?? 0) / total[f] }))
    .sort((a, b) => b.rate - a.rate);
}