サポートAIが本番で「自信満々に間違える」とき — 根拠の外を踏ませず、迷ったら人へ渡す運用メモ

import os
from anthropic import Anthropic
from dataclasses import dataclass
 
client = Anthropic(api_key=os.environ["ANTHROPIC_API_KEY"])
 
@dataclass
class Retrieval:
    chunks: list[dict]   # {"text": ..., "score": float, "source": ...}
    top_score: float
    margin: float        # 1位と2位のスコア差
 
def assess(retrieval: Retrieval) -> str:
    """生成に進めてよいか、人に渡すかを根拠の質だけで判定する。"""
    # しきい値は本番ログを見て決める。最初は厳しめに置く。
    if retrieval.top_score < 0.62:
        return "escalate"        # そもそも関連文書がない
    if retrieval.margin < 0.05 and retrieval.top_score < 0.75:
        return "clarify"         # 似た候補が拮抗 = 質問が曖昧
    return "answer"

SYSTEM = """あなたはカスタマーサポートの担当者です。次の規則を厳守してください。
 
- 回答は <resources> 内の記述だけを根拠にする。資料にない事実・数値・条件は決して補わない。
- 資料で確認できない場合は、推測せず「確認のため担当者におつなぎします」と答える。
- 主張ごとに根拠とした資料の source を [S1] のように本文へ示す。
- ユーザーの言語で答える。資料が別言語でも、回答はユーザーの言語にそろえる。
"""
 
def generate(question: str, chunks: list[dict], user_lang: str) -> dict:
    resources = "\n\n".join(
        f"<doc source=\"{c['source']}\">{c['text']}</doc>" for c in chunks
    )
    resp = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=800,
        system=SYSTEM,
        messages=[{
            "role": "user",
            "content": f"<resources>\n{resources}\n</resources>\n\n"
                       f"質問（{user_lang}）: {question}",
        }],
    )
    text = resp.content[0].text
    # 根拠タグが一つも無い回答は、資料外の創作を疑う
    grounded = "[S" in text or "確認のため担当者" in text
    return {"text": text, "grounded": grounded}

def confident_wrong_rate(logs: list[dict]) -> float:
    """断言（根拠タグ付き・人に渡していない）かつ誤りだった割合。"""
    confident = [x for x in logs if x["grounded"] and not x["escalated"]]
    if not confident:
        return 0.0
    wrong = [x for x in confident if x.get("verdict") == "incorrect"]
    return len(wrong) / len(confident)

def escalation_scores(logs: list[dict]) -> dict:
    # 人手が必要だった案件を正しく人へ渡せたか
    tp = sum(1 for x in logs if x["needed_human"] and x["escalated"])
    fp = sum(1 for x in logs if not x["needed_human"] and x["escalated"])
    fn = sum(1 for x in logs if x["needed_human"] and not x["escalated"])
    precision = tp / (tp + fp) if (tp + fp) else 0.0
    recall = tp / (tp + fn) if (tp + fn) else 0.0
    f1 = 2 * precision * recall / (precision + recall) if (precision + recall) else 0.0
    return {"precision": round(precision, 3),
            "recall": round(recall, 3), "f1": round(f1, 3)}