2025年のLSAの最新＆人気コンテンツ -GRAVITY(グラビティ) SNS

分布的意味論の歴史
ーーーーー
とても良いテーマです！
「分布的意味論（Distributional Semantics）」は、
現代の自然言語処理（NLP）とAIの「言葉の扱い方」の根本にある重要な考え方です。
ここで、その歴史と進化の流れをわかりやすく整理して説明します。

⸻

✅ 1️⃣ 分布的意味論とは何か？

⸻

まず基本をおさらいすると、

「単語の意味は、その単語がどんな文脈で使われているかによって決まる」

という考え方です。

⸻

有名な言葉にすると：

You shall know a word by the company it keeps.
「単語の意味は、それが一緒に現れる単語を見ればわかる」
（J.R. Firth, 1957）

⸻

つまり、
🍎「りんご」という単語が「赤い」「果物」「食べる」と一緒に使われるなら、
「りんご」は「赤くて食べられる果物」という意味を文脈の分布から推測できる。

⸻

⸻

✅ 2️⃣ ルーツ：初期の言語学者たち（1930〜1950年代）

⸻

🔹 ① ゾリック・ハリス（Zellig Harris, 1954）
• 分布的仮説（Distributional Hypothesis）の源流を作った。
• 言葉の意味を数理的に扱おうとした構造主義言語学の先駆者。

⸻

🔹 ② ジョン・ルパート・ファース（J.R. Firth, 1950年代）
• 有名な「会社（Company）」の例えで有名。
• 単語単体ではなく、共起（Collocation）に注目した。
• 例：「strong tea」と「powerful tea」はどちらも文法的に正しいが、後者は普通言わない。
　→ コロケーション（慣用的な単語の組み合わせ）が意味を形づくる。

⸻

⸻

✅ 3️⃣ 1970〜1980年代：言語学から計算言語学へ

⸻

この頃から「意味を計算できないか？」という発想が強まる。
• 1970年代：意味論は哲学的意味論（真理条件意味論）が主流だった。
• しかしコンピュータの発展で、意味を計算で扱う方向へ。

例：
• 初期の情報検索システム（TF-IDFなど）は分布情報を数値化して類似度を測った。

⸻

⸻

✅ 4️⃣ 1990年代：コーパス言語学と統計的自然言語処理の台頭

⸻

コンピュータの性能が上がり、大規模コーパス（膨大なテキストデータ）が使えるようになった。

ここで有名なのが：
• Latent Semantic Analysis (LSA)（1990年頃）
• 大量の文書データから、単語と単語の共起行列を作り、特異値分解（SVD）で次元圧縮して「意味空間」を作る。
• 単語や文書を「意味ベクトル」として扱い、類似性を数値化。

⸻

この頃から分布的意味論は計算可能なモデルとして確立していく。

⸻

⸻

✅ 5️⃣ 2000年代：ベクトル空間モデルの一般化

⸻

• LSAの発展形として、Probabilistic LSA（PLSA）、Latent Dirichlet Allocation (LDA) が登場。
• 単語を確率的トピックモデルとして表現し、意味を確率分布で扱うようになった。

⸻

同時に検索エンジンやスパムフィルタなど、
実用的な応用がどんどん増えた。

⸻

⸻

✅ 6️⃣ 2010年代：分布的意味論 × 機械学習の爆発

⸻

🔹 Word2Vec（2013, Google）
• ここで分布的意味論は一気に進化。
• Word2Vec は「単語をベクトル化する」ツール。
• 単語の共起パターンをニューラルネットで学習し、**連続的な意味空間（埋め込み空間）**を作った。
• 有名な「king - man + woman = queen」の例：
単語の意味がベクトルの足し算・引き算で扱える。

⸻

これ以降、GloVe, fastText, ELMo, BERT などが登場し、
分布的意味論はニューラルネットでさらに強化された。

⸻

⸻

✅ 7️⃣ 現在：大規模言語モデル（LLM）

⸻

ChatGPT のような大規模言語モデル（LLM）は、
分布的意味論の延長線上にあります。
• トークン（単語や文字列）の膨大な共起パターンを学習し、
文脈に応じた意味を確率的に予測する。
• 文脈ごとに意味を動的に変化させる「コンテキスト化埋め込み」が可能に。

⸻

⸻

✅ 8️⃣ 批判と限界

⸻

• サールの中国語の部屋のように、「文脈パターンを真似しているだけで理解はしていない」という批判が根強い。
• 身体性・意図性が欠けている。
• 近年は「分布的意味論＋シンボリック意味論（知識グラフ）」を組み合わせる研究が進んでいる。

⸻

⸻

📌 【まとめ】

時期主な進展キーワード
1930〜50年代言語学者たちが分布仮説を提唱ハリス、ファース
70〜80年代計算意味論の萌芽情報検索、TF-IDF
90年代 LSAでベクトル空間モデル化コーパス言語学
2000年代 PLSA, LDAなど確率モデルトピックモデル
2010年代 Word2Vec、BERTの登場埋め込み、LLM
現在 LLM＋知識グラフハイブリッドAI

⸻

✅ 分布的意味論の核心は「意味は使用のパターンにある」という思想。
それが計算可能になり、今のAIの基盤を作っているわけです。

⸻

もっと深掘りしたいなら：
• LSA, Word2Vecの仕組みを数式で解説
• 分布的意味論とシンボリック意味論の対立史
• 哲学的批判（ヴィトゲンシュタイン、サール、チャーマーズ）

も解説できます！必要なら教えてください📘✨

人気

関連検索ワード

新着

おすすめのクリエーター

関連ハッシュタグ