浮世絵壁紙アプリのストア説明文を、Claude に下書きしてもらっていた夜のことです。絵師の来歴に触れる一文が出てきて、念のため「この内容の出典を示してください」と続けました。
返ってきたのは、それらしい書名とページ数でした。ところが、その書名を調べても、該当の記述に行き当たらないことがあるのです。出典を求めたはずが、「もっともらしい出典」まで一緒に作られてしまった——そのことに気づいたのは、説明文を入稿する直前でした。
それ以来、「出典を示して」とは頼まなくなりました。代わりに、「出典を言わせる」のではなく、「手元の原文に戻らせる」。 という線引きで、聞き方を三つに絞っています。その三つと、それでも人が確かめるところを、順にお伝えします。
「出典を示して」がうまくいかない場面
Claude に限らず、言語モデルは、事実と異なる文章を自信ありげに書いてしまうことがあります。Anthropic のドキュメントでも、これを「ハルシネーション」と呼び、減らすための手法を紹介しています。
ここで大事なのは、手元に原文がない状態で出典だけを求めても、検証にならないという点です。出典名もまた、文章として生成されるものだからです。
原文が手元にあるなら話は変わります。モデルに「記憶から答える」のではなく「渡した資料から答える」よう求めれば、答えの根拠が目の前に並びます。三つの聞き方は、どれもこの考え方の上に立っています。
聞き方その一：「分からない」と言える余地を先に渡す
最初の一つは、いちばん手軽です。依頼の最後に、一文を足します。
この資料に書かれていない点や、確信が持てない点があれば、
推測で埋めずに「この資料からは判断できません」と答えてください。公式のドキュメントでも、「分からないと言ってよい」と明示的に許可することが、基本の対策の一つとして挙げられています。
私が試して手触りが変わったのは、空欄を埋めようとする力を、先に逃がしてあげるところでした。許可がないと、モデルは親切のつもりで、資料にない部分まで滑らかに書いてしまうことがあります。
聞き方その二：原文の引用を先に抜き出させる
二つ目は、長い資料を渡すときの聞き方です。公式のドキュメントでは、2 万トークンを超えるような長い資料では、作業の前に、原文の言葉どおりの引用を先に抜き出させる方法が紹介されています。
[資料を貼る]
手順1: 資料から、今回の質問にいちばん関係する部分を、
原文のまま番号を付けて抜き出してください。
関係する部分がなければ「該当なし」と書いてください。
手順2: 手順1で抜き出した引用だけを使って答えてください。
引用の番号を付けて、引用にない内容は書かないでください。こうすると、回答の各文が、どの引用に支えられているかを、番号でたどれます。違和感のある一文があれば、その番号の引用を原文と見比べるだけで済むのです。
聞き方その三：書いたあとで、主張ごとに裏づけを探させる
三つ目は、文章を書かせたあとに使います。下書きができた時点で、もう一度、同じ資料に戻らせるのです。
下書きの主張を一つずつ確認してください。
それぞれについて、資料の中から裏づけになる原文を探して示してください。
見つからなかった主張は削って、削った場所に [ ] だけを残してください。「見つからなければ削る」というルールが肝心です。削った場所に印が残るので、どこが元の下書きで根拠を欠いていたのかが、目で見て分かります。
三つの聞き方の使い分け
| 場面 | 使う聞き方 | 人が確かめること |
|---|---|---|
| 資料なしで、一般的な質問をする | その一（分からないと言える余地） | 日付・金額・固有名詞は原典で |
| 長い資料を読ませて要約や分析をさせる | その二（引用を先に抜く） | 抜かれた引用が原文にあるか |
| 下書きを仕上げる前の最終確認 | その三（主張ごとの裏づけ） | [ ] で削られた箇所の扱い |
資料を渡せない場面では、その一だけでも付けておく価値があります。ただし、その一は「間違いを防ぐ」ものではなく、「間違いを減らす」ものです。
実際に流れを通してみる
たとえば、浮世絵の解説文を下書きする場面で考えてみます。手元に、美術館が公開している作品解説のテキストがあるとします。
まず、その解説を貼って、聞き方その二で引用を抜かせます。返ってきた引用は、番号付きで五つ、六つほどです。ここで私は、抜かれた引用が本当に解説のなかにあるかを、検索で一つずつ確かめます。見つからない引用が一つでもあれば、その時点でやり直しです。
引用が確かなら、それだけを使って説明文を書かせます。最後に聞き方その三で、文ごとの裏づけを探させ、見つからなかった箇所は [ ] のまま残してもらいます。
この [ ] が、私にとってはいちばんありがたい合図でした。消された箇所は、たいてい、私自身が「そう書いたほうが読みやすい」と期待していた一文だったからです。読みやすさのために足された一文ほど、根拠がありません。 残った [ ] を見るたびに、そう思い知らされます。
それでも残る、人の仕事
ドキュメントにも、こうした手法は幻覚を大きく減らしても、なくしはしない、と書かれています。重要な情報は、必ず自分で確かめてください、という但し書きです。
私が自分の手で確かめているのは、次の三つです。
- 日付、年号、金額などの数字
- 人物名、作品名、書名などの固有名詞
- 引用が、本当に原文にその言葉で載っているか
とくに三つ目は、聞き方その二を使ったあとでも、手元の原文を検索して確認しています。手間ですが、ここを省くと、せっかくの引用が「もっともらしい飾り」になってしまうのです。
API で組み込む場合の多層的な防御の考え方は、別の記事でまとめています。興味のある方は Claude API のハルシネーション対策を多層で考える もご覧ください。
次のアクション
まずは、次に Claude へ何かを頼むとき、依頼の最後に一文だけ足してみてください。「資料にない点は、判断できないと答えてください」。それだけで、返ってくる文章の手触りが変わるかもしれません。
私も、浮世絵の説明文を書くたびに、この一文から始めるようにしています。