LLMをわかってなさすぎて[草]

参考になりました。感謝。(๑╹ω╹๑ )

@しぐれ煮たまご ： すまんな笑 実際詳しくないのと、高学歴云々とか関係ないこと言ってしまったわ 俺が言いたかったことは添付画像のような趣旨なんだけど、これも間違ってたら指摘、解説してもらえたらありがたい。

@テキトーの助 ： エンジニアっぽい人がわかってないって指摘してたからあんま当てにせんで でも一応趣旨をより丁寧にいうと画像のような感じや

@障子の目と口 ： 根本的に間違えまくってます ・RLHFによって「一貫性より真実性」を重視する様に学習の報酬系が設計されてます。 ・現在のLLMは段階的に推論をするので、多少情報が多いからと言ってそちらに強くバイアスがかかる様になってません ・LLMは人間の脳を模してない。(一般的には)transformerってアーキを採用してます AI Safetyって分野があるので調べてみてください

@しぐれ煮たまご ： ※追記再投稿 ありがとう、勉強になるわ。 思ったほど俺の印象は違わないのだが、RLHFでも人間のFBには限りがある、人間により「真実性」にブレがあれば学習できなくて（モデルの性能は上がらない）結局学習する情報（FB含む）の量と質に依存してない？RLHFによって一貫性があっても報酬を下げて「真実」を優先するにしても。 人間の脳の類似性（シナプス強化とNNの重み値が似てる）はそう遠くない時期に大学で習ったことのうろ覚えやが、AI黎明期からシナプスに着想を得た学術論文はたくさんあるし今も言及されるよね。まあ今のエンジニアがそういう設計思想だと言うつもりはなかったんやが。

@障子の目と口 ： 読んでもわからんと思いますが Is DPO Superior to PPO for LLM Alignment? 、Secrets of RLHF in Large Language Models Part II: Reward ModelingやRAG-Reardで「人間判断にブレがあることを前提として真実性の改善は継続的に達成」している事の実現性を示唆してます 設計思想の云々もよくわからんですが、1980年代のNN知識と加速度的に成長している研究プロダクトが同じわけないですよね 知ったかぶりでエコーチェンバーを助長させるのは恥ずかしいのでやめましょう

@しぐれ煮たまご ： 横からすみません。 neuralという単語自体が「神経の」という意味なので、ニューラルネットワーク自体が神経を数理的に再現したモデルだという理解を素人的にはしてました。 今は名称だけ残ってて、もはや神経とは共通点がないと理解した方が正しいのでしょうか？

@にゃおん ： その様に捉えて問題ないと思います 当初は生物学的ニューロンを模倣した数理モデルでしたが、現在はフォワード(推論)とバック(学習)という数学的な操作だけが有用されているという理解です 語弊を恐れずにいうと、画像生成、自然言語生成、分類、予測、などそれぞれの実現したいことに対してカリカリにチューニングされた巨大なモデルが選択されて使われていますね ChatGPTなどのLLMはTransformerというモデルが選択されてますし、最近Googleの出した言語モデルは拡散モデルを使っていると話題になってますね

@しぐれ煮たまご ： 丁寧なご教示ありがとうございました[笑う]

@しぐれ煮たまご ： ありがとう！多分自分では見ることもなかった論文に触れることができた（確かに理解はしきれない） 知ったかぶりはそのとおりやけど、読んだ限りではPPOによる改善もまだ途上にあって、現にPPOはLLMの学習したデータの全てに及んでるわけでもないから、学習したデータへの依存がないわけではないと思ったが。 でも問題点を克服するアプローチが進んでいるのだね。 NNとシナプスの関係は近年の学会誌（応用物理学会）にも載ってたけど、初学者向けの表現でもう陳腐化してるんか。 エコーチェンバーを助長しないよう、検索のかかる所で独立したコメントはしないように気をつけるわ！

@障子の目と口 ： 煽り口調ですみませんでした AI倫理など最前線でこういったデータのバイアスを如何にして克服するか戦ってる知り合いがいるので、彼らの営みが無碍にされているような感覚になったので子供っぽい返信をしてしまいました おっしゃる通りまだまだ発展途上の分野なので、これからも成長を見守る姿勢は必要かなと思います 元の投稿の論旨にも関わりますが、何でもかんでも政府が悪いというスタンスも、最前線で戦ってくれている行政機関などに対する冒涜だと思ったので、これまた見守りが必要だと考えている次第です

@しぐれ煮たまご ： 丁寧にありがとうございました！ 自分の元の返信の言い方にもよくないところがあって、真摯に指摘してもらえて（度重なるリプにも付き合ってもらえて）有意義なコミュニケーションであったと思っとります。 AI技術が今どういう思想で取り組まれているかも理解した上で触れていくよう心がけますわ。

right！！ あと、選挙に行ける人=時間があるヒト=ネットに意見が書き込めるヒト というのもあるかも？　(o^^o)

その意見の根拠をぜひ教えて下さい。 _(:3」z)_

@テキトーの助 ： 為替の歴史を見るだけでも明らか

@ねこ(本物)📚 ： あー、為替ですか。 それはなるほど、という気はします。 _(:3」z)_