言語モデルが有用性と安全性を高めるようにファインチューニングされるとき、静かに起こることがあります——それは、ほかの誰もが話すのと同じように聞こえ始めるのです。この同質化の効果は、長らくモード崩壊(mode collapse)として知られ、不完全な学習アルゴリズムの副産物として扱われてきました。しかし新しい研究は、その前提を根本から問い直し、問題の原因をアルゴリズムではなくデータそのもの——より正確には、あらゆる選好ラベルに埋め込まれたきわめて人間的な認知的クセへとさかのぼって特定しています。
目次
主なポイント
- ポストトレーニングによるアラインメントは大規模言語モデルの多様性を低下させ、モード崩壊——反復的で予測可能な出力を生成しがちになる傾向——を引き起こす。
- 根本原因は選好データにおける典型性バイアスであり、人間のアノテーターは一貫して聞き慣れた文を好むため、その嗜好が大規模にモデルの振る舞いを形作ってしまう。
- 典型性バイアスは認知心理学に根ざしており、理論的に形式化されただけでなく、選好データセットを用いた実証分析によっても検証されている。
- Verbalized Sampling(VS)は、モデルに複数の応答とそれぞれの確率推定を同時に生成させることで、モード崩壊に対抗する学習不要のプロンプト手法である。
- 創作タスクにおいて、VSは直接プロンプトと比べて出力の多様性を1.6〜2.1倍高め、対話、オープンエンドQA、合成データ生成など幅広い領域で効果を示す。
ポストトレーニング・アラインメントと典型性バイアスによって駆動されるモード崩壊
モード崩壊の緩和は、現代のAI開発におけるより差し迫った課題のひとつになっています。その理由は、この問題が非常に見逃されやすいからです。ファインチューニングされたモデルは依然として質問に答えますし、詩も書きます。ただし、少しずつ言い回しを変えながら、同じ種類の詩ばかりを書き続けるのです。
ポストトレーニング・アラインメントがLLMの多様性に与える影響
ポストトレーニング・アラインメント——ベースとなる言語モデルを人間のフィードバックによって、より有用で無害かつ誠実になるように形作るプロセス——は、一貫して大規模言語モデルの生成多様性を低下させます。その結果として起こるのが、出力空間の狭まりです。モデルは「受け入れ可能」と見なされる応答のより小さな集合へと収束し、分布の裾野を削ることで独創性と多様性を犠牲にしてしまいます。
これは些細な文体上の問題ではありません。合成データ生成、創作(クリエイティブライティング)、あるいは対話シミュレーションのような用途では、多様性は機能要件そのものです。平均的な方向へと崩壊したモデルは、同じバイアスを強化する学習データを生み出し、筋書き通りに感じられる対話や、二番煎じに感じられる創作物を生成してしまいます。
選好データにおける典型性バイアスの役割
問題の中心にあるメカニズムが典型性バイアスです。人間のアノテーターがモデルの出力を評価し、どの応答を好むかラベル付けするとき、彼らは体系的に「聞き慣れた」文——「典型的な」良い答えがどうあるべきかという直感に合致する応答——を選好します。この、斬新なものよりもプロトタイプ的なものを好む傾向は、AIのラベラーに特有の欠陥ではなく、人間が情報を分類・評価する方法についての認知心理学の確立された知見を反映しています。
この結果は、大規模になると重大です。何千ものアノテーションから構築された選好データセットは、珍しいが妥当な応答に対する構造的なバイアスを内包します。このデータで学習したモデルは、暗黙のうちに「聞き慣れない出力は望ましくない」と学習してしまいます——たとえそれが正確で、創造的で、中央値から意味のある形で異なっていたとしても。言い換えれば、AIシステムにおける典型性バイアスは、人間の認知からトレーニングパイプラインを通じて受け継がれたものなのです。
典型性バイアスの理論的・実証的分析
これらの知見を支える研究は、問題の指摘にとどまりません。著者らは典型性バイアスを理論的に形式化し、アノテーターの選好がどのようにアラインされたモデルの学習分布を歪めるかを説明する厳密な枠組みを構築しています。そのうえで、この効果を実証的に検証し、実際の選好データセットに対してテストすることで、このバイアスが偶発的なものではなく、モード崩壊現象の中心にある広範な要因であることを確認しています。
この二重のアプローチ——理論的な形式化と、それに続く実証的検証——が重要なのは、モード崩壊を曖昧な観察から、扱いやすく明確に定義された問題へと位置づけ直すからです。また、場当たり的なエンジニアリングによる対処ではなく、原理に基づく解決策への道を開きます。アラインメントが出力の多様性をなぜ狭めるのかを理解することで、研究者は症状を覆い隠すのではなく、原因そのものに対処する手法を設計できるようになります。
Verbalized Sampling:モード崩壊を緩和する学習不要のアプローチ
提案されている解決策はVerbalized Samplingと呼ばれ、その核心となる洞察は驚くほどシンプルです。モデルを再学習したり、アラインメントのパイプラインを変更したりする——いずれも高コストで技術的に難しい——のではなく、Verbalized Samplingは推論時のプロンプトの与え方を変えるだけで機能します。
Verbalized Samplingプロンプトの仕組み
モデルに単一の応答を生成させる代わりに、Verbalized Samplingでは、候補となる複数の応答と、それぞれに対する明示的な確率推定を生成するようモデルに指示します。たとえばプロンプトは「コーヒーに関するジョークを5つと、それぞれの確率を生成してください」のようになります。モデルに、ひとつの応答にコミットさせるのではなく、可能な出力の分布全体について推論させることで、VSはアラインメントによって植え付けられたモード崩壊の傾向を回避します。ファインチューニングによって抑圧されはしたものの消し去られてはいなかった、事前学習モデル本来の生成多様性が、この確率的な枠組みによって再活性化されるのです。
ここでの実務的な魅力は大きいものです。再学習は不要。新しいデータセットも不要。モデルアーキテクチャの変更も不要。この手法は、あらゆるアラインされた言語モデルに適用可能であり、追加のインフラ負担も生みません。
複数タスクにわたる性能向上
さまざまなタスクに対してVerbalized Samplingをテストした実験は、このアプローチが有効であることを確認しており、その効果は決して小さくありません。創作タスク(詩、物語、ジョーク)では、VSは直接プロンプトと比べて出力の多様性を1.6〜2.1倍に高めています。同様の改善は、対話シミュレーション、オープンエンドな質問応答、合成データ生成でも見られます。重要なのは、こうした多様性の向上が、事実性や安全性の低下を伴わないことです——両者は維持されたままです。
データからは、もうひとつのパターンも浮かび上がります。より高性能なモデルほど、Verbalized Samplingの恩恵を大きく受けるように見えるのです。これは、より強力なベースモデルほど、解き放つべき抑圧された多様性を多く内包していることを示唆します。アラインメント学習は、より豊かな基礎分布を制約しており、VSはそれを開くための、より効果的な鍵として機能しているのです。
なぜこの研究がLLM多様性に関する議論を変えるのか
この研究が分析的に重要なのは、その提示する「見方の転換」にあります。これまでの研究の多くは、モード崩壊をアルゴリズム上の問題——RLHF手法の改善、報酬モデルの修正、学習目的の調整などによって解決すべきもの——として扱ってきました。この研究は診断の位置づけを変えます。ボトルネックはアルゴリズムではなく、データにあるのです。人間が人間的な認知パターンを適用して構築した選好データセットには、ラベルが変わらない限り、どれだけアルゴリズムを洗練させても完全には取り除けない構造的バイアスが含まれています。
このデータ中心の視点には、より広い含意があります。それは、人間のフィードバックの質——量だけでなく質——こそが、アラインされたモデルがどれだけ多様で生成的であり得るかを制約する根本要因であることを示唆します。選好データセットを構築する研究者や実務家にとって、典型性バイアスの発見は具体的な警鐘です。アノテーターの傾向は、体系的かつ測定可能で、重大なかたちでモデルの「人格」を形作ってしまうのです。
一方でVerbalized Samplingは、学習時の問題に対する推論時の実践的な解答を提示します。その価値は、今日もたらす多様性の向上だけでなく、次の点にもあります。すなわち、事前学習モデルの生成的な幅はアラインメントによって失われたのではなく、単に抑圧されているだけであり、ゼロからやり直さなくても対処可能であることを示しているのです。
FAQ
大規模言語モデルにおけるモード崩壊の原因は何ですか?
モード崩壊の主な原因は、ポストトレーニング・アラインメントで用いられる選好データにおける典型性バイアスです。アノテーターは体系的に聞き慣れた文を好みます。このバイアスは認知心理学に根ざしており、モデルに予測可能な出力へと収束し、珍しいが妥当な応答を避けるよう学習させてしまいます。
Verbalized Samplingはどのようにモード崩壊を緩和しますか?
Verbalized Samplingは、モデルに候補となる複数の応答を生成させ、それらに対する確率分布を言語化させるようプロンプトします——たとえば、ひとつの答えのバージョンを5つ生成し、それぞれの尤度推定を付与させるといった形です。このアプローチは、追加の学習やアーキテクチャ変更を必要とせずに、事前学習モデルが本来持つ生成多様性を再活性化します。
どのような用途でVerbalized Samplingは多様性を向上させますか?
Verbalized Samplingは、創作(詩、物語、ジョーク)、対話シミュレーション、オープンエンドな質問応答、合成データ生成など、幅広い用途で出力の多様性を向上させます。創作タスクだけを見ても、直接プロンプトと比べて多様性を1.6〜2.1倍高めています。
Verbalized Samplingは事実性や安全性に影響しますか?
いいえ。研究によれば、Verbalized Samplingは事実性や安全性を損なうことなく多様性を向上させます。そのため、多様性と信頼性の両方が求められる本番利用のユースケースにおいても有望な選択肢となります。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”大規模言語モデルにおけるモード崩壊の原因は何ですか?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”モード崩壊の主な原因は、ポストトレーニング・アラインメントで用いられる選好データにおける典型性バイアスです。アノテーターは体系的に聞き慣れた文を好みます。このバイアスは認知心理学に根ざしており、モデルに予測可能な出力へと収束し、珍しいが妥当な応答を避けるよう学習させてしまいます。”}},{“@type”:”Question”,”name”:”Verbalized Samplingはどのようにモード崩壊を緩和しますか?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Verbalized Samplingは、モデルに候補となる複数の応答を生成させ、それらに対する確率分布を言語化させるようプロンプトします——たとえば、ひとつの答えのバージョンを5つ生成し、それぞれの尤度推定を付与させるといった形です。このアプローチは、追加の学習やアーキテクチャ変更を必要とせずに、事前学習モデルが本来持つ生成多様性を再活性化します。”}},{“@type”:”Question”,”name”:”どのような用途でVerbalized Samplingは多様性を向上させますか?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Verbalized Samplingは、創作(詩、物語、ジョーク)、対話シミュレーション、オープンエンドな質問応答、合成データ生成など、幅広い用途で出力の多様性を向上させます。創作タスクだけを見ても、直接プロンプトと比べて多様性を1.6〜2.1倍高めています。”}},{“@type”:”Question”,”name”:”Verbalized Samplingは事実性や安全性に影響しますか?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”いいえ。研究によれば、Verbalized Samplingは事実性や安全性を損なうことなく多様性を向上させます。そのため、多様性と信頼性の両方が求められる本番利用のユースケースにおいても有望な選択肢となります。”}}]}
本記事は人工知能の支援を受けて作成され、編集チームによるレビューを経ています。




