モデルを切り替える前に、自分の呼び出しの形を候補モデルへ1トークンで再生する

# call_shapes.py
# 本番コードが実際に発行している呼び出しの「形」を、1か所に集めたもの。
# モデルIDは入れない（候補モデルは再生時に差し込む）。
# max_tokens は受理判定のためだけなので、ごく小さくしておく。
 
DUMMY_TOOL = {
    "name": "ping",
    "description": "疎通確認用のダミーツール",
    "input_schema": {"type": "object", "properties": {}},
}
 
SHAPES = {
    # 一番ふつうの呼び出し
    "plain": {
        "max_tokens": 16,
        "messages": [{"role": "user", "content": "ok と返してください"}],
    },
    # 思考を明示的に切る呼び出し（自分のコードに同じ指定がある場合だけ残す）
    "thinking_disabled": {
        "max_tokens": 16,
        "thinking": {"type": "disabled"},
        "messages": [{"role": "user", "content": "ok と返してください"}],
    },
    # ツールを必ず使わせる呼び出し
    "tool_choice_any": {
        "max_tokens": 16,
        "tools": [DUMMY_TOOL],
        "tool_choice": {"type": "any"},
        "messages": [{"role": "user", "content": "ping を呼んでください"}],
    },
    # システムプロンプト付き（長さはダミーでよい）
    "system_prompt": {
        "max_tokens": 16,
        "system": "あなたは疎通確認用のアシスタントです。",
        "messages": [{"role": "user", "content": "ok と返してください"}],
    },
}

# replay.py
import json
import os
import sys
 
import httpx
 
from call_shapes import SHAPES
 
BASE = "https://api.anthropic.com/v1"
HEADERS = {
    "x-api-key": os.environ["ANTHROPIC_API_KEY"],
    "anthropic-version": "2023-06-01",
    "content-type": "application/json",
}
 
 
def replay(model: str) -> dict:
    """各 shape を max_tokens 16 で候補モデルに送り、受理されたかを返す。"""
    results = {}
    with httpx.Client(timeout=30) as client:
        for name, body in SHAPES.items():
            r = client.post(f"{BASE}/messages", headers=HEADERS,
                            json={"model": model, **body})
            if r.status_code == 200:
                results[name] = {"verdict": "accepted"}
            elif r.status_code == 400:
                # 形が受け付けられなかった。理由文をそのまま残す
                msg = r.json().get("error", {}).get("message", "")
                results[name] = {"verdict": "rejected", "reason": msg[:300]}
            else:
                # 429・529・5xx は形の問題ではないので「不明」に回す
                results[name] = {"verdict": "unknown", "status": r.status_code}
    return results
 
 
if __name__ == "__main__":
    model = sys.argv[1]
    out = replay(model)
    print(json.dumps(out, ensure_ascii=False, indent=2))
    # 1つでも rejected があれば、切り替えは止める（終了コード 1）
    sys.exit(1 if any(v["verdict"] == "rejected" for v in out.values()) else 0)

python replay.py <候補モデルのID>
echo $?   # 0 なら全 shape が受理、1 なら拒否あり

# capabilities.py
import httpx
 
from replay import BASE, HEADERS
 
 
def thinking_disabled_supported(model: str):
    """True / False / None（情報なし）のどれかを返す。"""
    r = httpx.get(f"{BASE}/models/{model}", headers=HEADERS, timeout=30)
    if r.status_code != 200:
        return None
    node = r.json().get("capabilities", {})
    for key in ("thinking", "types", "disabled"):
        if not isinstance(node, dict) or key not in node:
            return None          # 見つからなければ「不明」にして、再生に任せる
        node = node[key]
    if isinstance(node, bool):
        return node
    if isinstance(node, dict) and "supported" in node:
        return bool(node["supported"])
    return None