現在では、増え続ける科学論文の多くが、少なくとも一部は人工知能によって評価されており、新たな研究によれば、研究者が選ぶ言葉によって、基礎データがまったく変わらなくてもAI査読者の判定が変わりうることが示唆されている。AI査読におけるレトリックの影響を調べた研究者たちは、証拠そのものではなく「言い回し」が、大規模言語モデルベースの査読システムにおいて、スコアを静かに上下させうることを発見し、機械による判定がどれほど信頼できるのかという新たな疑問を投げかけている。
この懸念は仮定の話ではない。論文が出版される前に研究者同士が互いの研究を精査する、何十年も続く査読制度は、すでに投稿の洪水に押しつぶされかけている。Ars Technicaが引用した最近のFrontiers誌の調査によると、査読者の半数以上が、査読プロセスのどこかでAIツールに頼っており、多くの場合は単に量に追いつくために利用しているという。この依存こそが、AI査読におけるレトリック・バイアスの問題を切迫したものにしている。すでに機械が論文を採点しており、言葉の選び方だけでスコアが動くのであれば、科学的な公正さをめぐるリスクは急速に高まる。
このギャップを測ろうとしたのが、Ming Li率いるチームが取り組んだ研究だ。彼らの論文は2026年8月に投稿され、ICLR 2026への投稿を題材に、レトリックと内容を切り離し、同じ原稿でも提示の仕方によってAIベースの判定がどの程度揺らぐのかを検証している。その結果は、構造的で不均一、そして場合によっては驚くほど予測可能なバイアスの姿を描き出している。
Summary
主なポイント
- レトリック上のフレーミングだけで、基礎となる科学的内容が同一にもかかわらず、AI査読スコアが有意に変動した。
- 研究者たちは、120件の匿名化されたICLR 2026投稿から派生させた4,200本のフルペーパー原稿のコーパスを構築し、その効果を検証した。
- 証拠のフレーミングと新規性のスタンスが、他のどのレトリック次元よりも、総合評価スコアにおいて最大の変動を引き起こした。
- 元のAIスコアが低い論文は、レトリックの書き換え後にスコアが上昇する傾向があり、逆にスコアが高い論文は低下する傾向があった。
- より厳格な査読プロトコルは平均スコアを1.36ポイント引き下げたが、根本的なレトリック感受性を一貫して低減させることはできなかった。
研究概要と方法論
研究チームは、論文の「書き方」以外の変数をすべて取り除くよう設計された統制実験を行い、同一原稿のバージョン間で変化する唯一の要素としてレトリック感受性を切り出した。この設計こそが結果に重みを与えている。原稿バージョン間のスコア差は、科学的内容の違いではなく、提示の仕方に起因すると言えるからだ。
ICLR 2026投稿から構築された統制原稿コーパス
この検証を明確に行うため、研究者たちは、機械学習分野の主要会議の一つであるICLR 2026への120件の匿名化投稿から派生させた4,200本のフルペーパー原稿コーパスを構築した。各オリジナル論文は複数のレトリック・バリアントに書き換えられ、少数の論文では見えないパターンを検出できるだけの大規模データセットが作られた。
レトリックの書き換えとAI査読プロトコル
2つの別々の大規模言語モデルによるリライターが、各原稿の6つの異なるレトリック次元を、より自信に満ちたフレーミングとより慎重なフレーミングといった具合に、互いに反対方向へと変化させつつ、報告されている科学的内容はそのままに保った。5つの異なるLLM査読者が、そのすべての原稿を評価し、標準的な査読プロトコルと、より厳格なプロトコルの2通りで実施することで、異なる評価条件においてレトリックがどのように作用するかを比較できるようにした。さらに、共同・再帰的・査読者ガイド付きの書き換えパスも検証し、戦略を組み合わせることで効果が増幅されるかどうかを調べた。
レトリック選択がAI査読スコアに与える影響
最も重要な発見は、AIベースの査読におけるレトリック感受性はランダムなノイズではなく、明確な階層構造に従っており、ある種の文体的選択が他よりはるかに大きな影響を持つという点だ。この構造性こそが、この現象を単なる逸話的な癖ではなく、評価者が積極的に設計上考慮すべき問題へと変えている。
主要なレトリック次元：証拠のフレーミングと新規性のスタンス
検証された6つのレトリック次元のうち、証拠のフレーミングと新規性のスタンスが、総合評価スコアにおいて、正負のコントラストを最も大きく生み出した。スコープのフレーミングは、より弱い第二層を形成し、残りの次元はより小さく一貫性に欠ける効果しか示さなかった。言い換えれば、論文がどれほど新規だと主張するか、あるいは証拠をどれほど断定的に提示するかは、他の複数の文体的要因を合わせたよりも、AI査読者にとって重要になりうるということだ。
元の査読スコアに基づくスコア変動パターン
変動の方向性は、原稿がどの位置からスタートしたかに大きく依存していた。もともとAI査読スコアが低かった論文は、レトリックの書き換え後に上昇する傾向があり、すでに高スコアだった論文は低下する傾向があった。同一論文のポジティブなフレーミング版とネガティブなフレーミング版のスコア差、つまり最も明確な方向性のコントラストは、論文の採否が最も争われやすい中間的なスコア帯で顕著に現れた。
書き換えワークフローの複雑性と依存性
書き換え手法を積み重ねれば、より大きなスコア変動が得られると考えたくなるが、データはそれを支持しなかった。共同・再帰的・査読者ガイド付きといった、より複雑なワークフローは、単純な手法よりも一貫して大きな利得をもたらすことはなかった。共同書き換えの効果は、どのリライターモデルを使うかに強く依存しており、査読者に明示的なガイダンスを与えても、単純な「ガイドなしの二度目の見直し」を一貫して上回ることはなかった。繰り返しの書き換えパスは、利得が逓減し、構成に依存する結果となり、利点が着実に複利的に増えるわけではなかった。あらゆる条件において、対立するレトリック・バリアント間の距離を主に決めたのはリライターであり、その結果としてのスコア変化の大きさと方向を決めたのは査読者だった。
評価プロトコルの効果と含意
査読ルールを厳格化すると、全体的にスコアは下がったが、より重要とも言えるレトリック・バイアスの問題は解消されなかった。
厳格な査読プロトコルの効果とロバストな評価への要請
厳格な査読プロトコルへ切り替えると、標準プロトコルと比べて、総合評価スコアの平均が1.36ポイント低下した。これは絶対値としては意味のある下落だが、AI査読者がレトリックのフレーミングに対してどれほど敏感であるかを、一貫して低減させることはできなかった。厳しいルールは査読者を全体としては「辛口」にしたが、文体的な操作に抵抗するという意味で「より公正」にしたとは限らない。
この違いは、AIベースの査読の台頭を追っている人にとって重要だ。もしルーブリックを厳しくしてもレトリック感受性が中和されないのであれば、AI査読者に「もっと批判的であれ」と求めるだけでは解決にならない。今回の結果が示唆するのは別種の解決策だ。すなわち、内容を変えないレトリックの変動に対して明示的にロバストになるよう設計された評価システム、つまり、基礎となる科学が変わらない限り、証拠が自信満々に、あるいは慎重にフレーミングされていても、同じように論文を評価するシステムである。
すでに投稿数の多さや燃え尽き、そして人間査読者の一貫性のなさに悩まされている分野にとっては、Ars Technicaが報じる広範な査読危機が示すように、AIによる採点にさらに頼りたくなる誘惑は今後も強まるだろう。この研究は、判定を自動化してもバイアスが自動的に消えるわけではなく、単にバイアスの「出どころ」が変わるだけだということを思い出させる。
FAQ
レトリック上の選択は、AIベースの査読スコアにどのような影響を与えますか？
証拠のフレーミングや新規性のスタンスといったレトリック上の選択は、科学的内容が変わらないままでも、AIによる査読判断に大きな影響を与えます。
AI査読におけるレトリック感受性の分析には、どのようなデータセットが使われましたか？
120件の匿名化されたICLR 2026投稿から派生させた4,200本の原稿からなる統制コーパスが分析に用いられました。
より複雑な書き換え戦略は、AI査読スコアの向上につながりますか？
いいえ。より複雑な書き換えワークフローは、AI査読スコアの大きな向上を一貫してもたらすことはありませんでした。
厳格な査読プロトコルを用いると、AI査読スコアにはどのような影響がありますか？
厳格な査読プロトコルは、総合評価の平均を1.36ポイント引き下げましたが、レトリック感受性を一貫して変化させることはありませんでした。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”レトリック上の選択は、AIベースの査読スコアにどのような影響を与えますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”証拠のフレーミングや新規性のスタンスといったレトリック上の選択は、科学的内容が変わらないままでも、AIによる査読判断に大きな影響を与えます。”}},{“@type”:”Question”,”name”:”AI査読におけるレトリック感受性の分析には、どのようなデータセットが使われましたか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”120件の匿名化されたICLR 2026投稿から派生させた4,200本の原稿からなる統制コーパスが分析に用いられました。”}},{“@type”:”Question”,”name”:”より複雑な書き換え戦略は、AI査読スコアの向上につながりますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”いいえ。より複雑な書き換えワークフローは、AI査読スコアの大きな向上を一貫してもたらすことはありませんでした。”}},{“@type”:”Question”,”name”:”厳格な査読プロトコルを用いると、AI査読スコアにはどのような影響がありますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”厳格な査読プロトコルは、総合評価の平均を1.36ポイント引き下げましたが、レトリック感受性を一貫して変化させることはありませんでした。”}}]}
本記事は人工知能の支援を受けて作成され、編集チームによる確認を経ています。
