脳を持たないシステムにとって、「読む」「書く」とはどういう意味だろうか。研究者 Diego Saldaña Ulloa による新しい研究が arXiv で公開され、この問いに真正面から取り組んでいる。その結果は、大規模言語モデルが読み書きをどのように処理しているかについて、人間の心と比べて本質的に驚くべき点を明らかにしている。
Summary
主なポイント
- 人間の脳では、読みと書きは別個の神経経路を通じて動作する二重解離したシステムであり、一方が損傷しても他方が必ずしも障害されるわけではない。
- GPT-2、OPT、Pythia のようなデコーダ専用 LLM は、入力と出力の両方を単一の自己回帰パスで処理し、本来は脳が分離しているものを絡み合わせている。
- 絡み合い指数 E が 0.23〜0.35 の範囲であることから、アンタイドモデルは読みと書きのコードを部分的には共有しているが、完全ではないことが示される。
- 出力コードは、語頻度のデシル全体で入力コードのおよそ 3.2 倍の距離だけドリフトしており、共有メカニズムの内部で非対称な専門化が起きていることを示唆している。
- 理解と生成の行動的結合は、テストされた 12 の非退化モデルすべてで統計的に有意であり（p < 0.001）、これは人間の脳に見られるパターンとは正反対である。
人間の脳における読みと書きの異なる神経システム
読み書きができる人間の脳では、読むことと書くことは同じ神経機構を共有していない。これらは二重解離したシステムとして機能しており、一方だけが選択的に障害され、他方は保たれることがありうる。純粋失読の患者は読む能力を失うが書く能力は保たれ、純粋失書の患者は書く能力を失うが読む能力は保たれる。これらの臨床症候群は、読みのための腹側のデコード経路と、書きのための前頭頭頂のエンコード経路という 2 つの同定可能な神経ルートに対応している。この 2 つのシステムは、正書法的なコアを部分的にしか共有していない。
この解離は神経学上の珍現象ではない。これは進化と発達によって形作られたアーキテクチャを反映しており、異なる認知的要求が異なる神経的解決策を切り開いてきた結果である。そもそも読みは文化的に発明された技能であり、人類がそれを実践してきたのはせいぜい数千年にすぎない。それにもかかわらず、脳は既存の回路の一部を転用・適応させて読みを担わせている。
大規模言語モデルにおける統一された読み書きメカニズム
LLM は根本的に異なるアプローチをとる。脳が分離しているところを、デコーダ専用の大規模言語モデルは統合する。GPT-2、OPT、Pythia のようなモデルは、単一の自己回帰的フォワードパスを通じて、入力処理と出力生成の両方を駆動する。腹側の読み経路や前頭頭頂の書き経路に相当するアーキテクチャ上の分離は存在せず、膨大なテキストでエンドツーエンドに最適化された 1 本の経路があるだけである。
指数 E による絡み合いの測定
この共有パスがどの程度読みと書きを絡み合わせているのかを定量化するために、Saldaña Ulloa は 0（完全に独立したコード）から 1（完全に結合したコード）までの範囲をとる絡み合い指数 Eを開発した。この指数は、入力側の読みコードと出力側の書きコードを、CKA、プロクルステス残差、相互 k 近傍という 3 つの幾何学的指標を用いて比較する。独立初期化による下限と、タイドウェイトによる上限を用いてスケールを較正することで、この指標は恣意的な単位ではなく、解釈上の実体を持つようになっている。
LLM 全体における読み書き絡み合いの実証分析
この研究では、6 つのモデルファミリー — GPT-2、OPT、Pythia（1,400 万〜14 億パラメータ）、T5、BERT、RoBERTa — にわたる 9 つのプローブが分析された。6 つのプローブは既存の確立された知見を統合し、残り 3 つが新たな読み／書き絡み合い分析を直接導入している。
定量的結果：上限未満の絡み合いとコードドリフト
入力と出力の埋め込み行列が同一であることを強制されていないアンタイドモデルでは、絡み合い指数はE = 0.23〜0.35の範囲に収まる。この範囲は独立下限を大きく上回っており、実際の結合が存在することを示すが、完全にタイドな重みが生み出す上限には達しない。コードは共有されているが、融合しているわけではない。
また、注目すべき非対称性もある。出力コードは、あらゆる語頻度デシルにわたって入力コードよりもおよそ3.2 倍遠くドリフトする。共有メカニズムの書き側は、読み側よりも語頻度に対して敏感であるように見え、名目上は単一のシステムの内部に、微妙だが測定可能な分岐が存在していることを示している。
理解と生成の行動的結合
表現レベルの像は、行動レベルでも反映される。テストされた 12 の非退化モデルすべてにおいて、理解と生成のパフォーマンスは正に結合しており、一方のタスクをうまくこなすモデルは、他方のタスクもおおむねうまくこなす。符号検定により、これは偶然ではないことが確認されている（p < 0.001）。これは、人間では 2 つの能力が明確に解離しうるという神経科学の知見とは正反対である。
エンコーダ・デコーダモデル：別個の表現と同じ行動パターン
入力と出力の処理を物理的に別モジュールに分けるエンコーダ・デコーダアーキテクチャであれば、この行動的結合が崩れると期待するかもしれない。しかし、そうはならない。T5 のようなモデルは、読みと書きのコードを重み空間でほぼ完全に分離する、最大 0.96 に達する表現分離スコアを達成している。それにもかかわらず、行動レベルでは理解と生成は依然として結合している。表現の構造的独立性は、パフォーマンスの独立性にはつながっていない。
これは本研究における最も分析的に重要な結果の 1 つである。LLM における結合は、単に埋め込み重みを共有していることの帰結ではない可能性を示唆している。おそらく、同じテキスト目的で訓練されているという点に由来する、より深い要因が、アーキテクチャが表現をどのように分配していようとも、読みと書きのパフォーマンスを結びつけたままにしているのだろう。
幾何学と行動のギャップ
この結論を補強するように、本研究は幾何学的コード類似度と行動的結合の間に無相関（ρ = 0.00）があることを報告している。モデルの読みと書きの表現が重み空間でどれほど似ているかは、その読みと書きのパフォーマンスが相関しているかどうかを何も教えてくれない。幾何学的レベルと行動レベルという 2 つの分析レベルは、方向性こそ一致しているものの、それ以外の点では互いに独立している。
示唆：人間と LLM の読み書きアーキテクチャの乖離
これらの結果を総合すると、大規模言語モデルは真に異なる認知アーキテクチャとして位置づけられる。すなわち、人間の脳のデジタル近似ではなく、本研究が「可能な心の空間」と呼ぶものの中の別の一点である。人間の読み書きとの類推は問いを立てるうえで有用だが、そのメカニズムは相同ではない。
この違いは、LLM の能力と限界をどう解釈するかにとって重要である。モデルが、いったん「理解した」と思われるテキストをうまく言い換えられなかったり、入力を誤って表現する流暢な文章を生成したりする場合、その誤りの原因は、直感的な意味での処理失敗ではないかもしれない。脳が分離しているものを単一の絡み合ったフォワードパスに折りたたんだ結果としての構造的帰結、すなわち行動的結合をほぼ必然的な副産物として生み出す設計を反映している可能性がある。
本研究は自らの射程を明確にしている。ここで分析されたモデルは最大 14 億パラメータまでであり、著者らは幾何学から行動への橋がデータ中に存在しないという帰無的な結果を率直に報告している。より大規模、あるいは異なる構造を持つモデルが、異なる絡み合いパターンを示すかどうかは、依然として未解決の実証的問いである。そして、AI システムが、読解とテキスト生成が独立して評価可能な技能であると想定される文脈に配備されつつある現在、この問いはますます重要性を増している。
FAQ
人間の脳における読みと書きのプロセスはどのように異なりますか？
これらは二重解離したシステムとして、異なる神経ルートを用いて機能します。読みには腹側のデコード経路が、書きには前頭頭頂のエンコード経路が使われます。純粋失読や純粋失書のように、一方の経路が損傷しても、他方は大部分が保たれる場合があります。
大規模言語モデルは読みと書きをどのように処理しますか？
デコーダ専用 LLM は、読み（入力デコード）と書き（出力エンコード）の両方を単一の自己回帰パスで処理します。このアーキテクチャは、本来は脳が別々の神経システムに分けている機能を絡み合わせています。
本研究でいう絡み合い指数 E は何を測定していますか？
これは、LLM における入力（読み）コードと出力（書き）コードの重なりを、0（独立）から 1（完全結合）までのスケールで定量化したものです。本研究のアンタイドモデルは E = 0.23〜0.35 の範囲にスコアを示し、独立下限を有意に上回る一方で、完全結合には達していません。
エンコーダ・デコーダモデルは読みと書きの表現を完全に分離していますか？
表現レベルでは、エンコーダ・デコーダモデルはかなり分離しており、最大 0.96 に達する分離スコアを達成します。しかし行動レベルでは、これらのアーキテクチャにおいても読みと書きのパフォーマンスは正に結合したままであり、この結合が単なる重み空間の幾何学を超えた、より深いレベルに根ざしていることを示唆しています。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”人間の脳における読みと書きのプロセスはどのように異なりますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”これらは二重解離したシステムとして、異なる神経ルートを用いて機能します。読みには腹側のデコード経路が、書きには前頭頭頂のエンコード経路が使われます。純粋失読や純粋失書のように、一方の経路が損傷しても、他方は大部分が保たれる場合があります。”}},{“@type”:”Question”,”name”:”大規模言語モデルは読みと書きをどのように処理しますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”デコーダ専用 LLM は、読み（入力デコード）と書き（出力エンコード）の両方を単一の自己回帰パスで処理します。このアーキテクチャは、本来は脳が別々の神経システムに分けている機能を絡み合わせています。”}},{“@type”:”Question”,”name”:”本研究でいう絡み合い指数 E は何を測定していますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”これは、LLM における入力（読み）コードと出力（書き）コードの重なりを、0（独立）から 1（完全結合）までのスケールで定量化したものです。本研究のアンタイドモデルは E = 0.23〜0.35 の範囲にスコアを示し、独立下限を有意に上回る一方で、完全結合には達していません。”}},{“@type”:”Question”,”name”:”エンコーダ・デコーダモデルは読みと書きの表現を完全に分離していますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”表現レベルでは、エンコーダ・デコーダモデルはかなり分離しており、最大 0.96 に達する分離スコアを達成します。しかし行動レベルでは、これらのアーキテクチャにおいても読みと書きのパフォーマンスは正に結合したままであり、この結合が単なる重み空間の幾何学を超えた、より深いレベルに根ざしていることを示唆しています。”}}]}
本記事は人工知能の支援を受けて作成され、編集チームによる確認を経ています。
