Manuel Israel Cázares による新しい研究論文が、プロンプトエンジニアリングが実世界のセキュリティタスクにおいて大規模言語モデルをどこまで有効にできるのかについて、静かに不都合な疑問を投げかけている。この研究では、コードセキュリティにおける構造的事前知識（structural priors）が、形式的な数学的推論における場合と同じように脆弱性検出に作用するかどうかを検証している――そして、その答えは「はい」だということが判明した。合成データ上では劇的な性能向上が見られる一方で、実世界データ上では同じくらい劇的な性能崩壊が起きている。
Summary
主なポイント
- 構造的事前知識（チートシート）により、合成データセット上でテストされた 3 つすべての LLM において、セマンティックな脆弱性リコールが20% から 100%へと向上した。
- 同じ事前知識により、VUDENC の実世界 CVE データでは F1 スコアが合成データ上の 100% から48.9%へと崩壊し、51.1 ポイントの低下となった。
- 反復的な再キャリブレーションは改善ではなく悪化を招き、実世界データにおいて元の v1 よりも性能の低い v2 チートシートを生み出した。
- モデルは知識を持っているが、それを活性化するための信頼できるルーティングが欠けているという「ルーター仮説」は、数学を超えてコードセキュリティにも及ぶドメイン横断的な現象として支持された。
- 分布を意識したトレーニングは、プロンプトのキャリブレーション単体よりも構造的に健全な解決策として提案されている。
構造的事前知識は合成データでの脆弱性検出を向上させる
核心となる発見は、ほとんど出来すぎているように聞こえる。プロンプトに適切な構造的コンテキストを注入すると、合成コードに対する LLM の脆弱性検出は、ほとんど機能していない状態からほぼ完璧な状態へと変化する。テストされた 3 つのモデル――GPT-OSS-120B、Llama-3.3-70B、Gemma-4-31B――すべてにおいて、構造的事前知識を導入するとセマンティックな脆弱性リコールは 20% から 100% へと上昇した。アーキテクチャの異なるモデル間でこれほど一様な改善が見られるのはまれであり、何らかの体系的な要因が働いていることを即座に示している。
テストされた LLM 全体での性能向上
本研究で用いられた事前知識はチートシートという形を取っている。これは、脆弱性を特定するための明示的なコンテキストの足場をモデルに与える、構造化されたプロンプトインジェクションである。合成テストスイート上では、これらは性能を飽和させた。モデルのサイズやアーキテクチャに関係なく、すべてのモデルが天井レベルの F1 スコアに到達した。これは、プロンプト拡張戦略を探る研究者にとって重要な結果である。適切な構造的フレーミングがあれば、LLM は微妙なセキュリティ欠陥であっても検出できる潜在能力を明確に備えていることが示されたからだ。
脆弱性カテゴリと複雑性
この研究では、完全な複雑性のグラデーションをまたぐ 3 つの脆弱性カテゴリが対象とされた。CWE-798（ハードコードされた認証情報）は、比較的表層的でパターンマッチしやすい構文的脆弱性を表す。CWE-284（不適切なアクセス制御）は、コンテキスト依存の中間領域に位置する。N+1 アンチパターンは非 CWE のセマンティックな非効率性であり、最も高い複雑性レベルに位置する。ゼロショット性能は、複雑性が増すにつれて予測どおりに低下した。これは、構造的な足場がなければ、これらのモデルは自らが知っているように見える知識を安定して活性化するのに苦労することを裏付けている。
セマンティックな複雑性と実世界データでの性能低下
より厄介な話は、同じチートシートをトレーニング分布の外で適用したときに始まる。安定化装置として機能するどころか、構造的事前知識は、それを克服するために設計された分布シフトそのものを増幅しているように見える。
セマンティックな複雑性によるゼロショット性能の劣化
構造的事前知識がまったくない状態でも、モデルはすでに明確な劣化パターンを示している。セマンティックに複雑な脆弱性であればあるほど、ゼロショット性能は悪化する。このグラデーションは直感的に理解できる。モデルは、複数ステップのコンテキストやセマンティックな問題を推論するよりも、構文的な問題のパターンマッチングのほうが得意だからだ。しかし同時に、重要な緊張関係も生まれる。事前知識は分布内の難しいケースで性能を修正するが、それゆえに分布外での崩壊がいっそう際立つことになる。
分布外の実世界 CVE データでの崩壊
チートシートで拡張されたプロンプトをVUDENCの実世界の CVE データに転用したところ、その結果は厳しいものとなった。CWE-89（SQL インジェクション）の場合、F1 スコアは合成データ上の完全な 100% から、実世界の CVE サンプルではわずか48.9%へと低下し、51.1 ポイントの落ち込みとなった。構造的事前知識は一般化に失敗しただけでなく、分布シフトをむしろ悪化させたのである。これは、チートシートが実世界のコードベースで大きく変動する基礎的な脆弱性のセマンティクスではなく、合成データの表層的な特徴に過剰適合していたことを示唆している。
この違いは、本番環境で LLM ベースのセキュリティツールを導入しようと考えている人にとって極めて重要だ。管理された評価環境では完璧なスコアを出しながら、実世界の CVE データでは半分以上も崩壊してしまうモデルは、少なくとも現在のプロンプトエンジニアリングの形態のままでは、ライブのコードレビューを任せられるモデルではない。
反復的再キャリブレーションとドメイン横断的ルーター仮説
反復的再キャリブレーションは実世界性能を劣化させる
崩壊問題への直感的な対応としては、反復を重ねるというものがあるだろう。失敗ケースを取り出し、チートシートを更新し、再度試すという方法だ。Cázares はまさにこれをテストし、その結果は数学的推論における先行の SAIR 研究と同様のものとなった。反復的再キャリブレーションによって作成されたv2 チートシートは、実世界データにおいて元の v1 よりも悪い性能を示した。言い換えれば、洗練化は過学習を修正するどころか、むしろ深めてしまったのである。これは直感に反するが一貫した発見だ。構造的事前知識の弱点を修正するためにそれをチューニングすればするほど、それがチューニングされた分布により強く結びついてしまう。
ドメイン横断的なルーティング天井現象の支持
ここでのより広範な理論的主張は、これらの結果がルーティングの天井と事前知識の注入に関する先行の SAIR の発見を再現し、拡張しているという点にある。ルーター仮説――LLM はタスクを解くために必要な知識を潜在的に備えているが、それを一貫して活性化するための信頼できる内部ルーティング機構を欠いている――は、形式的な数学的推論とコードセキュリティの脆弱性検出という 2 つの異なるドメインで観測された。こうしたドメイン横断的な確認は重要である。これは、この現象が特定ドメインのプロンプト構造やデータセットの癖に由来するアーティファクトではなく、現在の LLM が注入された構造情報を処理する方法に関する、より根本的な性質であることを示唆している。
分析的な観点からすると、これは応用 AI コミュニティで広く信じられている前提に異議を唱えるものだ。すなわち、プロンプトエンジニアリングはモデルの信頼性を高めるためのスケーラブルで低コストな道筋である、という前提である。ここで示された証拠は、分布内において構造的事前知識が達成できるものには厳しい上限があり、同時に分布外性能を押し下げる下限も存在することを示している。この上限と下限は、メカニズム的に結びついているように見える。
推奨事項と公開リソース
解決策としての分布を意識したトレーニング
分布を意識したトレーニングは、崩壊問題に対処するための本研究の中心的な提言である。その論拠は構造的なものだ。失敗モードは、プロンプトの言い回しではなく、モデルが分布の変化した入力をどのように処理するかに根ざしているため、それを修正するには推論レベルではなくトレーニングレベルでの変更が必要になる。どれほど慎重に実行されたとしても、プロンプトのキャリブレーションは問題が発生しているのと同じレイヤー内で作業するにすぎない。モデルをより広く、より代表性の高い実世界の脆弱性データ分布にさらすようなトレーニングレベルの介入は、症状ではなく根本原因に対処することになる。
コードと評価スクリプトの公開
この研究の完全なコードと評価スクリプトは GitHub 上の bytepro-ai/bitcoder-v2-research リポジトリで公開されており、結果の再現性が確保され、手法は第三者による検証に開かれている。性能に関する主張が具体的であることを踏まえると、この透明性は重要であり、異なるモデル、異なる脆弱性データセット、あるいは異なる構造的事前知識の設計においても同様の崩壊パターンが現れるかどうかを、より広い研究コミュニティが検証することを促している。
セキュリティ AI 分野にとっての実務的な含意は明確だ。LLM ベースの脆弱性検出ツールに投資する組織は、モデルがキュレートされたベンチマーク上でどう振る舞うかだけでなく、分布が変化したとき――実運用環境では必然的にそうなる――にどう振る舞うかを問う必要がある。合成評価スイートを飽和させることは必要条件ではあるが、十分条件ではない。
FAQ
構造的事前知識とは何であり、脆弱性検出にどのような影響を与えますか？
構造的事前知識とは、脆弱性を特定するための明示的なコンテキストの足場をモデルに与えるチートシートをプロンプトに注入したものである。本研究では、これにより合成データセット上での脆弱性リコールが劇的に改善し、テストされたすべての言語モデルで性能が 20% から 100% へと向上した。
合成データで性能が向上しているにもかかわらず、実世界の CVE データで性能が崩壊するのはなぜですか？
合成データ上の性能を飽和させるのと同じ構造的事前知識が、実世界の CVE データに適用されたときには分布シフトの影響を増幅するためである。テストされた 1 つのケース（CWE-89）では、合成データ上での完全な F1 スコアから、VUDENC の実世界 CVE サンプルではわずか 48.9% へと低下し、51.1 ポイントの落ち込みとなった。
ルーター仮説とは何であり、ここではどのように確認されていますか？
ルーター仮説とは、LLM はタスクを解くために必要な知識を備えているものの、その知識を一貫して活性化するための信頼できる内部ルーティング機構を欠いている、という仮説である。本研究は、この仮説が形式的な数学的推論を超えてコードセキュリティの脆弱性検出にも及ぶことを確認しており、これをドメイン横断的な現象として位置づけている。
性能崩壊を緩和するためにどのような解決策が提案されていますか？
本研究は、プロンプトのキャリブレーションよりも分布を意識したトレーニングのほうが構造的に健全な解決策であると主張している。崩壊はプロンプトの言い回しではなく、モデルが分布外の入力をどのように処理するかに根ざしているため、より代表性の高い実世界の脆弱性データにモデルをさらすトレーニングレベルの介入が、根本原因に対処するために必要とされる。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”構造的事前知識とは何であり、脆弱性検出にどのような影響を与えますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”構造的事前知識とは、脆弱性を特定するための明示的なコンテキストの足場をモデルに与えるチートシートをプロンプトに注入したものである。本研究では、これにより合成データセット上での脆弱性リコールが劇的に改善し、テストされたすべての言語モデルで性能が 20% から 100% へと向上した。”}},{“@type”:”Question”,”name”:”合成データで性能が向上しているにもかかわらず、実世界の CVE データで性能が崩壊するのはなぜですか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”合成データ上の性能を飽和させるのと同じ構造的事前知識が、実世界の CVE データに適用されたときには分布シフトの影響を増幅するためである。テストされた 1 つのケース（CWE-89）では、合成データ上での完全な F1 スコアから、VUDENC の実世界 CVE サンプルではわずか 48.9% へと低下し、51.1 ポイントの落ち込みとなった。”}},{“@type”:”Question”,”name”:”ルーター仮説とは何であり、ここではどのように確認されていますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”ルーター仮説とは、LLM はタスクを解くために必要な知識を備えているものの、その知識を一貫して活性化するための信頼できる内部ルーティング機構を欠いている、という仮説である。本研究は、この仮説が形式的な数学的推論を超えてコードセキュリティの脆弱性検出にも及ぶことを確認しており、これをドメイン横断的な現象として位置づけている。”}},{“@type”:”Question”,”name”:”性能崩壊を緩和するためにどのような解決策が提案されていますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”本研究は、プロンプトのキャリブレーションよりも分布を意識したトレーニングのほうが構造的に健全な解決策であると主張している。崩壊はプロンプトの言い回しではなく、モデルが分布外の入力をどのように処理するかに根ざしているため、より代表性の高い実世界の脆弱性データにモデルをさらすトレーニングレベルの介入が、根本原因に対処するために必要とされる。”}}]}
本記事は人工知能の支援を受けて作成され、編集チームによるレビューを経ています。
