AI、特に文章生成AIを使うとき、最低限知っておかないとまずい思考実験と概念がある。

AI、特に文章生成AIを使うとき、最低限知っておかないとまずい思考実験と概念がある。

#中国語の部屋と #ハルシネーションだ。
どっちかだけでも聞いたことあるってやつは読まなくてもいい。

もしどっちも知らないで使ってるやつがいたら、まあ読んでけ。損はさせねえ。

まず、「中国語の部屋」っていう思考実験な。

ここに一つの部屋がある。窓はなく中の様子をうかがうことはできない。紙を差し込める小さなスリットがあるだけだ。
お前は、中国語の専門家と一緒にその部屋を観察してる。専門家が、スリットから中国語で書いた難しい質問紙を入れるんだ。「老子の哲学における『無為自然』とは何か？」みてえにな。

するとどうだ。しばらくして、スリットから答えの紙が出てくる。そこには、完璧な中国語で、実に的確な答えが書いてある。何度試しても、どんな質問をしても、中からは賢い答えが返ってくる。

これを見たら誰だってこう思うだろ？
「この部屋には、中国語と中国哲学をマスターしたとんでもねえ賢者がいるにちげえねえ！」ってな。

だが、その中身を覗いて見たなら、お前はぶったまげるぞ。
部屋の中にいたのは、賢者なんかじゃねえ。中国語なんて全く分からない、一人の西洋人だった。
そいつの周りには、漢字が書かれた大量のカードと、分厚い英語のマニュアル本が山積みになってる。そのマニュアルには、こう書いてあるんだ。
「もし、『老子』と『無為自然』って形の記号が書かれた紙が入ってきたら、棚Aの３番目と棚Cの５番目のカードを、この順番で並べて外に出せ」
そう。そいつはただ、マニュアルに書かれたルール通りに、意味も分からねえ記号（漢字）を機械的に操作してるだけなんだ。

ここで問う。「この西洋人は中国語を理解していることになるのか？」
答えはノーだ。言葉の意味も哲学も、１ミリだって理解しちゃいねえ。

文章生成AIってのは、まさにこの部屋そのものだ。外から見りゃ賢そうだが、やってることはルールに従って言葉を並べ替えてるだけ。それがAIの正体だ。
言葉の意味なんざこれっぽっちもわかっちゃいねえ。

だからAIは平気でウソをつく。

ここからが本題だ。
部屋の中の西洋人（AI）が意味を理解してないからこそ、ヤバいことが起きる。それが「ハルシネーション」だ。

いいか、考えてみろ。
もし、マニュアルに載ってない質問が来たらどうなる？

例えば、「この部屋の近くにある、美味いラーメン屋はどこだ？」なんて紙が入ってきたとする。
マニュアルにそんなルールはねえ。でも、外のヤツを待たせるわけにもいかねえだろ？

そこで西洋人は、こう考えるんだ。
「うーん、ルールにはないけど…たしか『ラーメン』は『軒』と組み合わせたことがある気がする。『美味い』は前々回『幻』と組み合わせたぞ？『近く』なら『徒歩5分』だったよな…。よし、それっぽく組み合わせて出しちゃえ！」
そうやってそいつは、うろ覚えのルールや、似たような別のルールを勝手に組み合わせて、もっともらしいデタラメな答えを外に出す。

結果、外にいるヤツは「徒歩5分の距離に幻麺軒という店があります。」みてえな、もっともらしいけど存在しない店の名前を信じちまう。文章は完璧な中国語だから、ウソだと見抜けねえんだ。

AIも全く同じで、学習データ（マニュアル）に答えがねえ時、それっぽい単語の組み合わせで平気でウソをでっち上げる。悪気はねえんだ。あいつらにとっちゃ、「事実かどうか」はどうでもよくて、「それっぽい答えを返すこと」が全てだからな。

そうやってありもしない「答え」をAIが勝手に作り上げちまう現象が「ハルシネーション」ってやつだ。

わかったか？ AIは便利な道具だが、鵜呑みにすんな。必ず疑って、最後はてめえで裏を取れ。

ときたまご投稿者

ちなみに、私は「AIとうまく付き合っていこうぜ」って言ってるのであって、AIを使うことを否定はしてないです。ってか、ガンガン使ってる側の人間だし。

2025/09/06 返信ピン留め

ともにぃ

なかなかに的確なアドバイスでした✨️ ありがとうございます[笑う]

2025/09/05 返信

あ

現代のAIに対して、(サールのオリジナルの)中国語の部屋という思考実験をそのまま応用できるのかという疑問がある。

ときたまご

それは、そう。「知性」というものをどう定義するのかによって、果てしない議論が展開されそう。ただ、この投稿で中国語の部屋の思考実験を取り上げたのは、内部の仕組みをよく知らんままAIを使ってる人にむけて警鐘を鳴らすため。仕組みをよく知らなくてもスッと理解しやすいでしょ？私がこの投稿で解決したい問題は、「AIの厳密な仕組みを理解していないこと」ではなく、「AIの抽象的な仕組みすら理解せず、誤った使い方をしていること」なわけで。知恵の輪が解けないという投稿に対して「Chat GPTに聞いたらこんな感じで解けると言ってました」みたいなコメントが付いてて絶句したのがはじまり。