この記事でわかること

  • なぜAIがそれらしい誤りを出すのか
  • 誤りが出やすい場所は決まっているということ
  • 確認しやすくなる頼み方
  • 複数のAIに聞く方法の限界
  • 確認を作業時間に組み込む考え方

当サイトの記事では「送る前に確認してください」「そのまま使わないでください」と繰り返し書いています。この記事では、その確認を具体的にどうやるかを扱います。

AIがそれらしい誤りを出す理由

AIは「正しいことを調べてから答える」わけではなく、文脈に続きそうな言葉を選んで文章を作ります。そのため、知らないことについても、形としては自然な答えが出てきます。こうした、もっともらしい誤りはハルシネーションと呼ばれます。

重要なのは、口調が自信ありげかどうかは、内容の正しさと関係がないということです。断定的に書かれているから正しい、ということにはなりません。

全部を疑うのは続かない

「AIの出力は必ず確認する」と決めても、全文を一から検証していては時間が足りず、結局やらなくなります。確認する場所を絞るのが現実的です。

幸い、誤りが出やすい場所はかなり決まっています。

誤りが出やすい場所

確認する 理由
固有名詞 会社名・人名・製品名が似た名前と入れ替わる
数値 金額・件数・割合。もっともらしい数字が作られる
日付・期間 曜日や期限が実際とずれる
URL・出典 実在しないURLや資料名が示されることがある
規定・条件 法令・規約・制度の内容。改正前の情報が混ざる
計算結果 途中の式が合っていても答えが合わないことがある

このうちURL・出典は特に注意が必要です。それらしい形式で示されるため信用しやすいのですが、開いてみると存在しない、あるいは内容が違うということが起こります。示された出典は、必ず開いて中身まで確かめてください。

逆に、確認しなくてよい部分

  • 文章の構成・見出しの並び
  • 言い回し・敬語の調整
  • 文章を短くまとめた結果(元の文章が手元にある場合)

ここは誤りが起きにくく、起きても読めば分かります。確認の労力は、前節の具体的な情報に集中させてください。

確認しやすくする頼み方

出てきてから確認するより、確認しやすい形で出してもらう方が早くなります。

  • 「分からないことは、分からないと書いてください」と先に伝える
  • 「元の文章にないことは追加しないでください」(要約・整形のとき)
  • 「確実でない部分には、その旨を書いてください」
  • 出典を示させる(そのうえで自分で開いて確かめる)

1つ目が特に効きます。これを伝えないと、空白を埋めようとして補ってきます。議事録やメールでは、それが事実と異なる内容を相手に伝える原因になります(AIで議事録を作る方法・AIでビジネスメールを書く方法)。

複数のAIに聞く方法の限界

「同じ質問を複数のAIにして、一致すれば正しい」という方法がよく紹介されます。参考にはなりますが、確認したことにはなりません。

理由は、それぞれが学習しているもとの情報が重なっているためです。広く流通している誤情報であれば、複数が同じように間違えます。独立した2つの確認にはなっていない、という点を押さえておいてください。

ツールごとの違いについては主要生成AIツール比較で扱っていますが、違うツールを使うことと、独立した裏取りをすることは別物です。

最終的には、一次情報(公式サイト・原典・社内の正式な資料)にあたる必要があります。

確認を作業時間に組み込む

「確認しましょう」で終わると実行されません。最初から時間に入れておくのが確実です。

  • 作業の見積もりに確認の時間を含める(下書きが速くなった分をそのまま削らない)
  • 確認する箇所を作業前に決めておく(この資料なら数値と日付、など)
  • 人に渡す直前ではなく、作った直後に確認する(記憶が残っているうちの方が速い)

特に1つ目が要です。AIで下書きが速くなった分をすべて短縮してしまうと、確認の時間が消えます。 速くなった分の一部は確認に回す、と決めておいてください。

確認そのものをAIに任せられるか

「この文章の誤りをチェックして」と、確認までAIに頼みたくなります。部分的には有効ですが、 任せきりにはできません。

有効な使い方

  • 計算を別の方法でやり直させる(式を変えて再計算させ、答えを突き合わせる)
  • 文章の中の数値や日付を一覧に書き出させる(自分が確認する対象を洗い出す作業)
  • 前提と結論が食い違っていないかを指摘させる

任せられないこと

  • 事実かどうかの判定。判定する側も同じ性質を持っているため、誤りを見落としますし、 正しい内容を誤りだと指摘することもあります

整理すると、確認の「作業」は手伝わせられるが、「判断」は自分が持つということです。一覧に書き出させて、突き合わせるのは自分がやる——この分担が現実的です。

チームで使う場合に決めておくこと

一人で使う分には自分の判断で足りますが、複数人が関わる場合は先に決めておかないと、誰も確認していない状態が生まれます。

  • 誰が確認するか(作った人か、レビューする人か)
  • どこまで確認するか(数値だけか、出典まで遡るか)
  • AIを使ったことを共有するか(後から誰かが検証するときの手がかりになります)

特に3つ目は、後で誤りが見つかったときに原因を追いやすくなります。隠す必要はなく、どう作ったかを残しておく方が組織としては安全です。

自分が検証できない分野では使わない

これが最後の線引きです。誤りに気づけない分野の成果物を、そのまま使わないでください。

詳しくない分野では、出てきた内容が妥当かどうかを判断できません。その状態で人に渡すと、誤りをそのまま流通させることになります。

その分野でも、調べる取っかかりを得る用途には使えます。出てきた用語や論点を手がかりに、一次情報を自分で読む——という使い方であれば、誤りが混ざっていても被害が出ません。この進め方はAIで仕事の調べ物をする方法で詳しく扱っています。

用途によって確認の深さを変える

すべてを同じ強さで確認する必要はありません。間違えたときの影響で決めてください。

  • 自分用のメモ・アイデア出し: ほぼ確認不要
  • 社内で共有する資料: 数値・日付・固有名詞を確認
  • 社外へ出すもの・記録として残るもの: 上記に加えて、出典と規定を一次情報で確認

判断の基準は「間違っていたら誰が困るか」です。困る人が自分だけなら軽く、相手や会社に及ぶなら重く——という調整で十分です。

まとめ

  • AIは調べて答えているのではないため、それらしい誤りが混ざる
  • 誤りが出やすいのは具体的な情報(固有名詞・数値・日付・URL・出典・規定・計算)
  • 文章の構成や言い回しは確認しなくてよい
  • 「分からないことは分からないと書いて」と先に伝える
  • 複数のAIの一致は独立した確認ではない。最後は一次情報
  • 確認の時間を最初から作業に組み込む
  • 間違えたときに困る人が誰かで、確認の深さを決める

確認は面倒な作業に見えますが、場所を絞れば数分で終わります。全部を疑うか、まったく確認しないかの二択にしないことが、続けるための現実的な方法です。