共感で繋がるSNS
GRAVITY(グラビティ) SNS

投稿

ラトナラ

ラトナラ

snsで流れてきた資料の内容になるが、llmはどうやら自身が間違いを犯した際にそれを頭の中でちゃんと認識してるらしい。もちろんミスしたと気づきながら最後で出力させるのは無駄なので、間違いを訂正できるよう意図的に不正確なデータと訂正トークンを追加して事前学習を行なったところ正答率が上昇したとのこと。
この事実の何が面白いかって脳内(言語モデルだとtransformerブロック)で人のように「思考」していることが明らかになったことだと思う。正直個人的には今までllmのことを単なる統計的な人間模様マシーンとしか見てなかったからこの実験結果にかなり驚いてる。
GRAVITY
GRAVITY19
話題の投稿をみつける
関連検索ワード

snsで流れてきた資料の内容になるが、llmはどうやら自身が間違いを犯した際にそれを頭の中でちゃんと認識してるらしい。もちろんミスしたと気づきながら最後で出力させるのは無駄なので、間違いを訂正できるよう意図的に不正確なデータと訂正トークンを追加して事前学習を行なったところ正答率が上昇したとのこと。