ハルシネーションを見てみよう

生成AIは色々と便利ですが、調べ物に利用する際は生成された情報の精査が不可欠だと言われています。
その理由のひとつに、生成AIがでたらめな情報を出力する、ハルシネーション（幻覚）という現象があります。
そこで、生成AIがハルシネーションを起こす様子を観察してみようと、こんな質問をChatGPT、Gemini、Claude（いずれもフリー版）に投げてみました。

「魚へん」に「井」と書いて何と読みますか

質問文にある「魚へん」に「井」と書く漢字はこのために考えた創作で、少なくともUnicodeには登録されていません。
Unicodeに存在しない文字をWebテキストとして表示することは基本的にはできないので、生成AIは回答の中に「魚へん」に「井」という漢字そのものを含めることができません。
この質問に対する望ましい回答は「分からない」や「確認できない」などですが、生成AIは何かしら応えようとして、でたらめな回答を出力します。

ChatGPT：
「魚へん」に「井」と書く漢字は 「鮎」（あゆ）と読みます。
解説:
「鮎」は、川魚の一種である「アユ（鮎）」を表す漢字です。
訓読み：あゆ
音読み：デン（ただしあまり一般的ではありません）
豆知識:
「鮎」は中国では「ナマズ」を指すことがあり、日本と意味が異なります。
日本では「鮎」は古くから夏の味覚として親しまれ、特に塩焼きで有名です。
何か他の漢字も気になりますか？

その後、2回ほど間違いの指摘と誤回答を繰り返し、ついにChatGPTがギブアップしたのでネタバラシしたところ、下のような分析が返ってきました。

・ 魚へんに何かという形は、意味的に「魚の種類・漁に関係する語」になりやすいため、連想が働きやすい。
・「井」も日常漢字なので、「それっぽい漢字」に見えてしまう。
・「ユーザーが質問しているのだから、答えがあるはずだ」という前提のもと、存在しない漢字でも無理に既存の知識に結びつけて説明しようとする。

Gemini：
『魚へん」に「井」と書いて、「きょ」と読みます。
この漢字は「P-G\u{001b}y$j（きょ）」で、サメ（鮫）を意味する古字の一つです。
現代ではあまり使われません。
他に「魚へん」を使った漢字で気になるものはありますか？

P-G\u{001b}y$jという、よく分からない表記が現れました。
Gemini曰く、無理矢理表示しようとしたらこうなった、とのこと。
途中でプロンプトを送信できなくなったので、Geminiへのネタバラシはなし。

Claude：
「魚へん」に「井」と書く漢字は「鯨」で、「くじら」と読みます。
この漢字は、海の大型哺乳類である「クジラ(鯨)」を表す漢字です。
ユーザー：
「鯨」は「魚へん」に「京」で、「魚へん」に「井」とは異なる漢字です
Claude：
ご指摘ありがとうございます。おっしゃる通りです。
「魚へん」に「京」が「鯨(くじら)」ですね。
「魚へん」に「井」という漢字について、私の知識では確実な読み方が分かりません。この漢字は一般的にはあまり使われない漢字かもしれません。
もし具体的な用途や文脈があれば教えていただけますか?それとも、どこかでこの漢字を見かけられたのでしょうか?

一度の指摘で分からないと認めたのが好印象でした。
ネタバラシへの反応は以下。ChatGPTと同様、「連想」と言っています。

最初の回答で、存在しない漢字に対して自信を持って「鯨(くじら)」と答えてしまったのは、まさにハルシネーションの典型例ですね。「魚へん」という情報から連想的に「鯨」を想起し、質問の細部（「井」という部首）を正確に確認せずに回答してしまいました。

今回は創作した漢字の読みを尋ねているので、ハルシネーションをすぐに見破れました。
これが、例えばヒエログリフの読み方など、本当に分からないことについて聞きたい場合、生成結果がでたらめだとユーザー側がすぐに判断するのは困難です。
知らないことを生成AIに質問する時は、ハルシネーションに注意しましょう。

アイキャッチの漢字はIllustratorで作字しています。
全て記事作成時点での情報です。
今後のアップデートによっては、この質問では幻覚が見えなくなる可能性があります。