第2話｜ハルシネーション ── もっともらしい嘘との付き合い方

ハルシネーションは「ゼロにできない」前提で扱う

生成 AI は、確率的に「それっぽい文章」を作る仕組みです。事実検証の機能を持たず、知らないことを正直に「知らない」と返すよう作られていません。学習データに無い事実、最近のニュース、社内固有の数字は、もっともらしく作られた嘘になることがあります。

ハルシネーションは技術改良で減りますが、ゼロにはなりません。ゼロを目指す対策ではなく、起きた前提で被害を抑える設計に切り替えます。

ハルシネーションが起きやすい 4 領域

経験上、次の 4 領域でハルシネーションは特に起きやすくなります。

1. 1. 固有名詞：人名・社名・書名・商品名・URL
2. 2. 数字：統計・売上・年代・日付
3. 3. 法律・規制：条文番号・施行日・対象範囲
4. 4. 最新情報：直近 6 か月以内の出来事・新サービス

逆に、構造が決まっている文章（メール下書き・要約・翻訳の文体合わせ）はハルシネーションが起きにくい領域です。AI を使う用途は、この 4 領域を「人がチェックする」前提で設計します。

対策 1：確認可能な形で出力させる

ハルシネーションを減らすうえで効くのは、確認可能な形で出力させることです。

• - 出典 URL を 3 個以上添える
• - 数字には「私の推定です」のラベルを付けさせる
• - 確信度（高 / 中 / 低）を 3 段階で添えさせる

出典 URL を見れば、人が 30 秒で正しいか判定できます。確信度を出させると、AI 自身が「自信が無い」と書く部分が浮かび上がります。

対策 2：人の二重チェックを工程化する

公開や送信の前に、必ず人がチェックする工程を入れます。

• - 固有名詞・数字・URL の 3 点だけは必ず元データに当てる
• - 一次情報（公式サイト・原文）に当たるのは人の役割
• - AI に「自分の出力を批判してください」と再質問させ、危ない箇所を炙り出す

二重チェックの所要時間は、原稿の長さの 1/4 を目安にします。それ以上かかるならテーマが AI 向きでない可能性が高いです。

対策 3：用途別に「確認の強さ」を変える

すべての出力を同じ強さで確認するとコストが見合いません。

• - 社内メモ：自己チェックのみ
• - 顧客向けメール：上司 1 人が確認
• - 社外公開記事：編集者と専門家のダブルチェック
• - 規制関連の文書：法務・専門家の最終承認

確認の強さは「事故が起きたときの被害」と「修正できる時間」で決めます。送信後に取り消せないものほど、強い確認をかけます。

やってはいけない使い方

最後に、ハルシネーションリスクが大きすぎて AI に任せてはいけない用途を挙げます。

• - 一次情報の代わりに AI を引用元として使う
• - 法律相談や医療判断を AI 単独で行う
• - 数字の自動入力（請求書・契約金額・在庫）
• - 顧客への即時応答で人のチェックを通さない

これらは「AI で速くなる」より「事故時の損失」が圧倒的に大きいので、最初から AI 対象外にします。

この回のまとめ：

• - ハルシネーションはゼロにできない前提で設計する
• - 起きやすいのは固有名詞・数字・法律・最新情報の 4 領域
• - 出典・確信度・二重チェックの 3 点で被害を抑える
• - 取り消せない出力は AI 単独に任せない