AIが出した数値と出典を、そのまま受け入れない — 検証専任サブエージェントで突き合わせるゲート設計

// verify-number.ts
import type { NumericClaim } from "./claims";
 
export type Dataset = Record<string, number[]>;
 
const sum = (xs: number[]) => xs.reduce((a, b) => a + b, 0);
 
// 指標キー → 生データから値を一意に決める関数
export const metricFns: Record<string, (d: Dataset) => number> = {
  "clicks.total": (d) => sum(d.clicks),
  "clicks.avgPerDay": (d) => sum(d.clicks) / d.clicks.length,
  "wowChangePct": (d) => {
    const prev = sum(d.clicksPrevWeek);
    const cur = sum(d.clicksThisWeek);
    return prev === 0 ? NaN : ((cur - prev) / prev) * 100;
  },
};
 
const DEFAULT_TOLERANCE = 0.005; // 相対0.5%
 
export function verifyNumber(
  claim: NumericClaim,
  data: Dataset
): { ok: boolean; reason: string; expected?: number } {
  const fn = metricFns[claim.metric];
  if (!fn) {
    // 未知の指標は「検証不能」= 不合格（fail-closed）
    return { ok: false, reason: `未登録の指標: ${claim.metric}` };
  }
  const expected = fn(data);
  if (!Number.isFinite(expected)) {
    return { ok: false, reason: "再計算値が有限でない", expected };
  }
  const tol = claim.tolerance ?? DEFAULT_TOLERANCE;
  const denom = Math.abs(expected) || 1;
  const relErr = Math.abs(claim.value - expected) / denom;
  return relErr <= tol
    ? { ok: true, reason: "一致", expected }
    : {
        ok: false,
        reason: `主張値 ${claim.value} と再計算値 ${expected.toFixed(2)} が誤差 ${(relErr * 100).toFixed(2)}% で不一致`,
        expected,
      };
}

// verify-citation.ts
import type { CitationClaim } from "./claims";
 
export type Sources = Record<string, string>; // sourceId → 原文スニペット
 
// 全角/半角・空白・約物のゆらぎを吸収する正規化
function normalize(s: string): string {
  return s
    .normalize("NFKC")
    .replace(/\s+/g, "")
    .replace(/[「」『』（）()、。,.]/g, "")
    .toLowerCase();
}
 
export function verifyCitation(
  claim: CitationClaim,
  sources: Sources
): { ok: boolean; reason: string } {
  const src = sources[claim.sourceId];
  if (!src) {
    return { ok: false, reason: `出典が見つからない: ${claim.sourceId}` };
  }
  const q = normalize(claim.quote);
  if (q.length < 8) {
    // 短すぎる引用は偶然一致しやすいので不合格
    return { ok: false, reason: "引用が短すぎて照合できない" };
  }
  return normalize(src).includes(q)
    ? { ok: true, reason: "原文に一致" }
    : { ok: false, reason: "引用が原文に存在しない" };
}

<!-- .claude/agents/claim-auditor.md -->
---
name: claim-auditor
description: 生成された要約が、付属のクレーム台帳に無い数値・出典を本文へ混入させていないかだけを判定する
tools: []
---
あなたは検証専任の監査役です。与えられるのは「要約本文」と「クレーム台帳（idと主張文の一覧）」だけです。
本文に登場する数値・固有の出典表記のうち、台帳のどの主張にも対応しないものを列挙してください。
判断は保守的に行い、台帳で裏付けられない数値・出典が1つでもあれば unverified として報告します。
出力は {"unlisted": string[]} の JSON のみ。生成側の意図を推測して補完してはいけません。

// audit-summary.ts（抜粋）
import Anthropic from "@anthropic-ai/sdk";
const client = new Anthropic({ apiKey: process.env.ANTHROPIC_API_KEY });
 
export async function auditSummary(
  summary: string,
  claimStatements: string[]
): Promise<{ unlisted: string[] }> {
  const msg = await client.messages.create({
    model: "claude-haiku-4-5-20251001", // 監査は軽量モデルで十分
    max_tokens: 512,
    system:
      "要約本文に、与えられた主張一覧のどれにも対応しない数値・出典があれば列挙する。出力は {\"unlisted\": string[]} のJSONのみ。",
    messages: [
      {
        role: "user",
        content: `# 要約\n${summary}\n\n# 主張一覧\n${claimStatements.join("\n")}`,
      },
    ],
  });
  const text = msg.content.find((b) => b.type === "text");
  return JSON.parse(text && "text" in text ? text.text : '{"unlisted":[]}');
}

// ❌ Before: 生成物の要約をそのまま受け入れて公開する
const artifact = await generateReport(data);
await publish(artifact.summary); // 数値も出典も誰も検証していない

// ✅ After: 受け入れ前ゲートを必ず経由する
import { verifyNumber } from "./verify-number";
import { verifyCitation } from "./verify-citation";
import { auditSummary } from "./audit-summary";
import type { Artifact, Dataset, Sources } from "./types";
 
export async function gate(
  artifact: Artifact,
  data: Dataset,
  sources: Sources
): Promise<{ ok: boolean; failures: string[] }> {
  const failures: string[] = [];
 
  for (const c of artifact.claims) {
    if (c.kind === "number") {
      const r = verifyNumber(c, data);
      if (!r.ok) failures.push(`[${c.id}] ${r.reason}`);
    } else {
      const r = verifyCitation(c, sources);
      if (!r.ok) failures.push(`[${c.id}] ${r.reason}`);
    }
  }
 
  const audit = await auditSummary(
    artifact.summary,
    artifact.claims.map((c) => `${c.id}: ${c.statement}`)
  );
  for (const u of audit.unlisted) {
    failures.push(`[unlisted] 台帳に無い数値/出典: ${u}`);
  }
 
  return { ok: failures.length === 0, failures };
}
 
// 呼び出し側
const artifact = await generateReport(data);
const result = await gate(artifact, data, sources);
if (!result.ok) {
  console.error("却下:", result.failures);
  // 公開しない。失敗内容をログに残し、再生成か人間確認へ回す
} else {
  await publish(artifact.summary);
}