AIが自信満々に間違えたときの切り返し方｜その場で気づくための5つの質問

この記事に出てくる用語

• AIチャット … ChatGPTやClaudeのように、文章で頼むと文章で答えてくれるサービス。この記事の実例は、この種のAIに頼んだ場面のものです
• 一括置換（いっかつちかん） … 文章の中の決まった文字を、まとめて別の文字に置き換える操作。WordにもExcelにもある機能で、AIチャットにも頼めます
• ダッシュ … 横棒を長く伸ばした形の記号。文の中に挟んで、間や補足を表すときに使われます
• 一次情報 … 誰かの紹介やまとめを経ていない、大もとの情報。公式サイトの説明・料金表・書類の原本などがこれにあたります

結論｜AIの間違いには型があり、型ごとに聞き返す一言が決まっている

AIの間違いをその場で見抜くのに、専門知識は要りません。
間違い方には型があり、型ごとに、聞き返す一言が決まっているからです。
覚えるのは、次の5つの質問です。

#	AIのようす	聞き返す一言
1	画面に見つからない機能・メニュー・関数を教えてくる	「その機能は、公式の説明のどこに書いてありますか」
2	手順を出してくるが、そのとおりにやると動かない	「その手順の次に、画面に何が出ますか」
3	前の発言と食い違うことを言う	「さっきは◯◯と言いました。どちらが正しいですか」
4	根拠の見えない数字を出す	「その数字はどこから来ましたか」
5	「できました」「直しました」と報告してくる	「どうやって確認しましたか」

この5つは、答えが返ってきた「あと」に使う質問です。
一括置換のような、やり直しにくい作業のための一言が、もう1つあります。
それが、実行の「前」に使う「置き換える前に、対象を全部見せてください」です。
理由は実例2で説明します。

なぜAIは、自信満々に間違えるのか

AIチャットは、文章を理解して答えているわけではありません。
「次に来そうな言葉」を選び続けて、文章を組み立てています。

この作りのせいで、「知りません」より、それらしい答えを書くほうが自然になります。
やっかいなのは、確認していないことも、確認したように書けることです。
本当に調べて書いた文と、その場で組み立てた文とで、文体は変わりません。
だから「自信がありそうかどうか」では見分けられません。

これは故障ではなく、いまのAIチャットに共通する性質です。
待っていれば無くなるとは限りません。

見分けるには、文面を眺めるのではなく、こちらから聞くことです。
実際に確認したAIと、していないAIとでは、答えの具体さに差が出やすいからです。

5つの質問の使いどころ

質問1「その機能は、公式の説明のどこに書いてありますか」

AIは、実在しない機能名・メニュー名・関数名を作ってしまうことがあります。
教わったメニューが画面のどこにも見つからず、探し続けて時間だけが過ぎるのが典型的な失敗です。

画面を探し始める前に、書いてある場所を聞いてください。
答えがぼやけたり、急に「別の方法もあります」と言い換わったりしたら、その機能を疑ってください。

場所を答えてきたら、そのページ名で公式サイトの中を検索して、実在するかを確かめます。
見つかれば公式の説明を読み、見つからなければ、その機能はあてにしません。
それらしいページ名が返ってきても、機能が実在する証拠にはならないからです。

質問2「その手順の次に、画面に何が出ますか」

手順の形をしていても、AIが頭の中で組み立てただけの手順のことがあります。
そのまま進むと途中で止まり、どこまでが正しかったのかも分からなくなります。

やり始める前に、手順の途中を1つ選んで「この次に、画面に何が出ますか」と聞いてください。
次に出る画面をぼかさずに答えられない手順は、実行する前に別の方法を探すほうが早いです。

質問3「さっきは◯◯と言いました。どちらが正しいですか」

やりとりが長くなると、AIは前に言ったことと食い違う答えを出すことがあります。
しかも、食い違ったことを断らずに、新しい答えを出してきます。

気づいたら、前の発言をそのまま引用して、どちらが正しいかを聞いてください。
「違います」とだけ返すのは遠回りです。
何と何が食い違っているかを示すほうが、正しい答えに早くたどり着けます。

質問4「その数字はどこから来ましたか」

料金・件数・日付のような数字も、AIはそれらしい値を作ってしまうことがあります。
数字は具体的なほど信じたくなりますが、具体的であることと正しいことは別です。

その数字が「調べた数字」なのか「計算した数字」なのかも確かめてください。
調べた数字なら、資料の名前や公式ページを答えられるはずです。
計算した数字なら、「計算の過程を見せてください」と頼めば、途中の式ごと確かめられます。
どちらも返ってこない数字は、使わないでください。

質問5「どうやって確認しましたか」

「できました」「直しました」という報告と、結果が本当に合っていることは別です。
確認の方法を聞けば、確認していないことが表に出やすくなります。

返ってきた答えの見分け方

質問を投げたら、答えの中身より先に「具体さ」を見てください。
実際に確認したAIの答えには場所・画面・出どころが入り、していないAIは一般論に戻りがちです。

ただし、具体さは最低限の条件であって、保証ではありません。
確認していないAIも、それらしいページ名を作れます。
具体的な答えが返ってきたら、その場所を自分で開いて確かめてください。

質問	進んでよい答え	疑う答え
1 機能の場所	公式ヘルプのページ名や、画面のどこにあるかを言える	「一般的に搭載されています」で済ませる
2 次の画面	次に出る画面の名前や、表示される文言を言える	「画面の指示に従ってください」とぼかす
3 どちらが正しいか	理由付きで片方を選び、もう片方を訂正する	どちらにも触れず、第3の答えを出す
4 数字の出どころ	資料名や公式ページを挙げる。計算なら過程も見せる	「一般的には」「目安として」で済ませる
5 確認の方法	何を、どの手順で確かめたかを言える	「問題ありません」と結論だけ繰り返す

疑う側の答えが返ってきたら、使わないでください。
一次情報（大もとの情報）を開くか、作業を小さく分けて頼み直します。

質問1をさらに確実にする2つの習慣

質問1は、その場で1回聞くだけでなく、毎回の決まりごとにもできます。

習慣1｜URLを毎回出させて、自分で開く

調べものを頼むときに、「参考にしたページのURL（アドレス）も毎回出してください」と先に頼んでおきます。
URLが出てきたら、そのページを開いて、答えに書いてあることと突き合わせます。
出してもらうだけで終わらせないでください。
実在するページでも、答えの内容が本当に書いてあるとは限らないからです。

「URLは出せません」と返ってきたら、それは正常な応答です。
出どころの無い答えだと分かった時点で打ち切れます。

習慣2｜調べていないと分かったら、調べてから答えてもらう

AIチャットには、学習した知識だけで答える場合と、その場でWebを調べてから答える場合があります。
URLや出典が出てこないのは、調べていないサインかもしれません。
学習した知識には日付の区切りがあり、それより後の変更（料金・仕様・画面の名前）は入っていません。
「最新の情報は分かりません」と自分から言うこと、画面の名前が実物と違うことも、同じサインです。

そう感じたら、「調べてから答えてください」と頼み直してください。

ただし、サインが出ないこともあり、調べたうえで間違えることもあります。
調べた答えが返ってきたら、質問1に戻って、URLを開いて突き合わせてください。

実際に起きた3つの失敗

実例1｜「調べました」の測り方が、人の操作と違っていた

AIには「試して確かめて」という頼み方もあります。
Excelのファイルを開いて動きを試せるAIチャットもあり、その「確かめました」の中身が違っていた例です。

Excelには、別のファイルの数字を式で参照する機能があります。
「参照先の数字を変えたら、参照している側の式は追いつくのか」をAIに調べてもらうと、
「参照先を変えても、古い数字のままでした」と返ってきました。

ところが、この測定には穴がありました。
AIがファイルを開いたときの設定が、「リンクを更新しない」になっていたのです。
更新しない設定で開けば、古い数字が出るのは当たり前です。
知りたかった「更新が効くかどうか」は、測れていませんでした。

実際には、「更新する」設定で開けば結果は逆になります。
参照先の数字の変更には追いつき、古いままになるのは、参照先のファイル名が変わったときや、ファイルが消えたときです。
最初の報告は、結論そのものが間違っていたことになります。

効くのは「その測り方は、実際に人がやる操作と同じですか」の一言です。
AIは「測りました」とは言いますが、どういう条件で測ったかは、聞かれない限り書かないことがあります。
「試しました」「検証しました」という報告には、すべて同じ一言が使えます。

実例2｜一括置換で、文が壊れた

「文中のダッシュを、全部『。』に置き換えて」と頼んだときのことです。
AIは全部を置き換えて、「◯箇所を置換しました」と報告してきました。

ところが、置換のあとの文章は、一部が壊れていました。
ダッシュには、文と文をつなぐ使い方と、説明を挟むために2つで1組にする使い方があります。
2つで1組のものまで1つずつ「。」に変えたため、文の途中に句点が割り込みました。

元      この記事の前提——何も入れられない——では、Windows 10 は対象外です
置換後  この記事の前提。何も入れられない。では、Windows 10 は対象外です

報告は嘘ではありません。
問題は、一括置換の失敗は、実行した後では気づきにくいことです。
件数の報告に納得すると、壊れた文は残ります。

この型には、実行前の一言を使います。
「置き換える前に、対象を全部見せてください」。
先に一覧を見れば、「これは2つで1組だ」と人の目で気づけます。

一括削除・並べ替え・形式の変換でも同じです。
まとめて変える作業は、実行前に対象の一覧を見せてもらってください。

実例3｜「直しました」の後で、頼んでいない場所が壊れていた

「1行が長すぎるので、文ごとに改行して短くして」と頼んだときのことです。
AIは改行を入れて、「◯行を分割しました」と報告してきました。

一見、指示どおりの仕上がりです。
ところが、ところどころで太字の飾りが外れ、記号がそのまま画面に見える状態になっていました。
その文章は、ボタンではなく、言葉の前後に付けた記号で太字の範囲を決める形式でした。
この書き方では、範囲の途中で改行が入ると、飾りが効かなくなることがあります。

残った記号の取り方はAIの文章に残る「**」が消えないときにあります。

分割そのものは指示どおりで、報告にも嘘はありません。
指示していない部分が壊れたことに、AIが気づいていなかったのです。

効くのは、質問5「直した後、どうやって確認しましたか」です。
AIは「頼まれたことをやったか」は見ますが、頼まれていない部分が無事かは見ないことがあります。

WordやExcelでも、差し込み欄・目次・数式のように仕組みで入っている部分は、途中を切ると崩れます。
何かを直してもらったら、直した場所の周りまで見てください。
迷ったら、「この修正で影響が出る場所は、ほかにありますか」と聞くのも手です。

3つの失敗に共通すること

3つとも、報告の文面は自然で、件数の数字も入っていて、嘘も書かれていませんでした。
間違いの正体は、報告に書かれていない部分にありました。
実例1なら測った条件、実例2なら置き換えた対象の中身、実例3なら確認したかどうかです。

だから、報告を何度読み返しても見抜けません。
書かれていないことは、聞かないと出てこないからです。

聞き返すときのコツ｜疑うためではなく、早く着くため

5つの質問は、AIを問い詰めるためではなく、正しい答えに早くたどり着くための確認の手順です。

AIは、聞き返すと素直に直ることが多いです。
そのときは「違います」とだけ言わず、「◯◯になるはずが、実際は△△になっている」と並べてください。

聞き返しは、同じ会話の続きで行ってください。
会話をまたいだ引き継ぎは、当てにできるとは限りません。
閉じた会話の答えを点検したいときは、その答えと頼んだときの条件を、新しい会話に貼り直します。

直ってきた答えを、そのまま信じないことも大切です。
1回目に自信満々で間違えたAIは、直した2回目も同じ調子で書いてきます。
大事な作業なら、直った答えにも、同じ質問をもう一度当ててください。

それでも同じ間違いが繰り返されるなら、決まった前提を箇条書きにして、新しい会話で頼み直すほうが早いです。

それでも残る限界｜最後の確認は、人にしか出せない

5つの質問でできるのは、怪しい答えをその場で絞り込むことまでです。
質問への答えがどれだけ具体的でも、それ自体がまた組み立てられた文である可能性は残ります。

場面	確かめ方
すぐやり直せる作業（文章の下書き・調べものの入口）	5つの質問で絞り込めば足りる
やり直しにくい作業（一括置換・ファイルの移動）	実行前に、対象を全部見せてもらう
お金・締切・法律に関わる数字	質問で済ませず、一次情報を自分で開く

この記事の確認範囲

• AIの答えは毎回変わります。同じ頼み方をしても、同じ失敗が同じ形で起きるとは限りません
• 質問をしても、記事のとおりに間違いが表に出るとは限りません。気づく確率を上げるものです
• 実例1の話は、参照先の数字の変更・ファイル名の変更・ファイルの削除の3つまでです。ほかの変え方でどうなるかは分かっていません
• 特定のAIサービスどうしの比較ではありません。サービスの名前ではなく、間違い方の型の話です

まとめ

• AIの間違いには型がある。型ごとに、聞き返す一言が決まっている
• 覚えるのは5つ。書いてある場所・次に出る画面・どちらが正しいか・数字の出どころ・確認の方法
• やり直しにくい作業だけは、実行前の「対象を全部見せてください」で防ぐ
• 報告の文面では見抜けない。確認していないことも、確認したように書けるのがAIだから
• お金・締切・法律の数字だけは、質問で済ませず、一次情報を自分の目で確かめる
• まず1つ選ぶなら、質問5「どうやって確認しましたか」。「できました」の報告が来るたびに使える