アプリのストア更新文を、日本語から英語・フランス語・スペイン語へ整える作業を Cowork に頼んでいた週のことです。夕方に見返すと、同じ機能名が段落ごとに別の訳語になっていて、朝には起きていなかった揺れが目立ちました。
「最近、出来が落ちたのではないか」——そう感じて手が止まりました。ただ、その日の私は朝から同じ会話を使い続け、途中で用語表のファイルも差し替えていました。比べる条件がそもそも揃っていなかったのです。
最初にお伝えしたいのは、印象のままでは、原因がモデルにあるのか自分の使い方にあるのかを決められないということです。そこで個人開発の作業を止めずに続けられる程度の、小さな記録の取り方を組みました。表計算と、20行ほどの Python だけで足ります。
「落ちた」と感じる理由は、モデルの外にもあります
GitHub の claude-code リポジトリには、11月に入って「同じプラン・同じ設定なのに、数週間で失敗が増えた」という報告(#109277)が立っています。報告者自身が、失敗を指摘して直させるたびにやり取りが増え、会話全体を読み直す分だけ消費も膨らむと書いておりました。
この指摘は、原因の切り分けにもそのまま効きます。出来が変わったように見えるとき、私は次の3つを先に疑うようにしています。
- 会話の長さ: 長い会話ほど、前半の指示や資料が後ろに埋もれます。上限の減り方も会話の長さで変わります(上限が昼前に尽きた日の記録)
- 渡した資料の違い: 途中でのファイルの差し替えや、接続フォルダの中身の増減
- 依頼文の違い: 毎回その場で打ち直すうちに少しずつ変わる言い回し
この3つを固定したうえで、それでも結果が変わるなら、初めて「変わった」と言えるのだと思います。
試験台を作る — 依頼を5件と、正解の条件を先に書きます
普段の仕事から、繰り返し頼んでいる依頼を5件選びます。大事なのは、結果を見る前に「何ができていれば合格か」を条件として書いておくことです。後から決めると、その日の気分で甘くも辛くもなってしまいます。
私が使っている形は次のとおりです。条件は1件につき2〜3個、はい/いいえで答えられるものに絞ります。
| ID | 依頼(毎回この文をコピーして貼る) | 合格の条件 |
|---|---|---|
| R1 | terms.csv の用語表に従って、notes_ja.txt を英語に訳してください | c1: 用語表の訳語が全箇所で使われている/c2: 段落数が原文と同じ |
| R2 | sales.csv の月別合計を表にして、summary.xlsx に書き出してください | c1: 合計が元データと一致/c2: 原本を上書きしていない |
| R3 | inbox フォルダのファイルを種類ごとのフォルダに分けてください | c1: 取りこぼし0件/c2: 元の名前が残っている |
| R4 | meeting.docx を読み、決定事項だけを5行以内で書き出してください | c1: 5行以内/c2: 資料に無い決定を足していない |
| R5 | photos フォルダの画像を幅1200pxに縮小して out に保存してください | c1: 全画像が1200px/c2: 原本が残っている |
依頼文は requests.txt に保存し、毎回そこからコピーします。入力ファイルも bench という専用フォルダに置き、試験の期間中は中身を変えません。R2 の合計の確かめ方は、表の検算スクリプトの記事で書いた手順がそのまま使えます。
新しい会話で3回ずつ流し、1行ずつ書き込みます
週に一度、5件の依頼をそれぞれ新しい会話で3回流します。1週あたり15回、慣れれば30分ほどで終わります。同じ会話の中で3回続けると、2回目以降は1回目の答えを参考にしてしまうため、比較になりません。
1回終わるごとに、条件ごとの結果を runs.csv に1行ずつ書き込みます。満たしていれば 1、満たしていなければ 0 です。
date,request_id,run,condition,passed
2026-11-09,R1,1,c1,1
2026-11-09,R1,1,c2,1
2026-11-09,R1,2,c1,1
2026-11-16,R1,1,c1,0
2026-11-16,R1,1,c2,1迷った結果は 0 にして、メモ欄を別に作って理由を書き添えます。「ほぼ合っている」を 1 にし始めると、記録がまた印象に戻ってしまうからです。
集計は短いスクリプトに任せます
15行を目で数えるのは、3週目あたりでつらくなります。次のスクリプトは runs.csv を読み、週ごと・依頼ごとに「満たした条件の数/条件の総数」を並べ、直近2週で割合が3分の1以上下がった依頼だけを挙げます。Python の標準ライブラリだけで動くので、追加のインストールは要りません。
import csv
import sys
from collections import defaultdict
from datetime import date
# 使い方: python3 tally.py runs.csv
path = sys.argv[1] if len(sys.argv) > 1 else "runs.csv"
hits = defaultdict(int) # (週, 依頼) → 満たした条件の数
total = defaultdict(int) # (週, 依頼) → 条件の総数
with open(path, newline="", encoding="utf-8") as f:
for row in csv.DictReader(f):
y, m, d = map(int, row["date"].split("-"))
week = "%d-W%02d" % date(y, m, d).isocalendar()[:2]
key = (week, row["request_id"])
total[key] += 1
hits[key] += 1 if row["passed"].strip() == "1" else 0
weeks = sorted({w for w, _ in total})
requests = sorted({r for _, r in total})
print("request " + " ".join(weeks))
for r in requests:
cells = []
for w in weeks:
k = (w, r)
cells.append("%7s" % ("%d/%d" % (hits[k], total[k]) if total[k] else "-"))
print("%-8s " % r + " ".join(cells))
# 直近2週を比べ、1/3 以上落ちた依頼だけを挙げる
if len(weeks) >= 2:
prev, last = weeks[-2], weeks[-1]
print("\n%s -> %s" % (prev, last))
for r in requests:
a, b = (prev, r), (last, r)
if not total[a] or not total[b]:
continue
drop = hits[a] / total[a] - hits[b] / total[b]
if drop >= 1 / 3:
print(" 要確認: %s %.0f%% -> %.0f%%" % (r, 100 * hits[a] / total[a], 100 * hits[b] / total[b]))上の5行の例で動かすと、R1 の行は 3/3 1/2 と並び、100% から 50% に下がったため「要確認」に挙がります。実際の記録は1件あたり3回×条件2つで6行になるので、6つのうち1つだけ落ちた週は約17%の差にとどまり、挙がりません。3回のうち1回の失敗はぶれの範囲として扱い、2つ以上落ちたときだけ目を留める——そういう線を、この3分の1という数字で引いております。
週の区切りに ISO 週番号(2026-W47 の形)を使っているのは、月をまたいでも並び順が崩れないからです。Cowork にこのスクリプトを渡して「runs.csv を集計してください」と頼むこともできますが、集計する側が試験の対象と同じでは意味が薄れるため、私自身は手元のターミナルで実行しています。ターミナルに馴染みがない方は、最初にどちらから触るかを決める記事も参考になるかもしれません。
下がったとき、下がらなかったとき
記録を取り始めてから、「落ちた」と感じた週でも、新しい会話で流し直すと条件はほとんど満たされている、という場面に何度か出会いました。そのときの原因は、たいてい長く使い続けた会話のほうです。対処は、作業の区切りで会話を新しくし、用語表のような資料を毎回最初に渡し直すことになります。
一方で、新しい会話でも同じ依頼が2週続けて落ちるなら、それは使い方では説明しにくい変化です。その場合は記録表と依頼文、入力ファイルをそのまま添えて、回答の評価ボタンやサポートへ伝えます。「出来が悪い」と書くより、「R1 の c1 が先週の3回中3回から、今週は3回中1回になった」と書けるほうが、受け取る側も再現しやすいはずです。
感じたことは記録の入口に、判断は記録の出口に。 印象を疑う必要はありませんが、印象だけで道具を替えたり、課金を見直したりはしないようにしています。
まずは今週、いちばんよく頼む依頼を1件だけ選び、合格の条件を2つ書いて、新しい会話で3回流してみていただければと思います。表の1行目は、それで埋まります。