画像を原寸で送るか縮小するか — Opus 4.7 の高解像度ビジョンで1枚ごとに解像度を決めるコスト設計

import base64, io, json
from PIL import Image
from anthropic import Anthropic
 
client = Anthropic()
 
# 細部依存クラス（縮小に耐えないカテゴリ）を明示しておく
FINE_DETAIL_CLASSES = {"和柄", "グラデーション", "浮世絵", "ノイズ加工"}
 
def encode_at(path: str, long_edge: int) -> dict:
    """画像を指定した長辺まで縮小し、image ブロック用の dict を返す。"""
    img = Image.open(path).convert("RGB")
    w, h = img.size
    scale = long_edge / max(w, h)
    if scale < 1.0:  # 拡大はしない。縮小のみ
        img = img.resize((round(w * scale), round(h * scale)), Image.LANCZOS)
    buf = io.BytesIO()
    img.save(buf, format="JPEG", quality=90)
    b64 = base64.standard_b64encode(buf.getvalue()).decode()
    return {
        "type": "image",
        "source": {"type": "base64", "media_type": "image/jpeg", "data": b64},
    }
 
def classify(path: str, long_edge: int, model: str) -> dict:
    """指定解像度・指定モデルで 1 枚を分類し、ラベルと自己申告 confidence を得る。"""
    msg = client.messages.create(
        model=model,
        max_tokens=200,
        messages=[{
            "role": "user",
            "content": [
                encode_at(path, long_edge),
                {"type": "text", "text":
                 "この壁紙を 30 カテゴリのいずれかに分類し、"
                 'JSON で {"label": ..., "confidence": 0.0-1.0} だけ返してください。'},
            ],
        }],
    )
    return json.loads(msg.content[0].text)

DOWNSCALE, FULLSIZE = 512, 1568
SONNET, OPUS = "claude-sonnet-5", "claude-opus-4-7"
 
def decide(path: str) -> dict:
    # 段1: 縮小 + Sonnet 5 で安く当てる
    r = classify(path, DOWNSCALE, SONNET)
 
    # 細部依存クラスに触れた、または自信が薄いときだけ格上げ
    need_detail = r["label"] in FINE_DETAIL_CLASSES or r["confidence"] < 0.75
    if not need_detail:
        return {"label": r["label"], "route": "downscale/sonnet", "conf": r["confidence"]}
 
    # 段2: 原寸 + Opus 4.7 の高解像度ビジョンで見直す
    r2 = classify(path, FULLSIZE, OPUS)
    if r2["confidence"] >= 0.85:
        return {"label": r2["label"], "route": "fullsize/opus", "conf": r2["confidence"]}
 
    # 段3: それでも決まらなければ人手キューへ棄却
    return {"label": None, "route": "abstain", "conf": r2["confidence"]}