カナダの著名な医療レビューでデロイトの報告書の誤りが発見された後、公共政策研究に対する監視が強まっています。
目次
AI関連の問題はどのようにしてニューファンドランド・ラブラドールの医療レビューで浮上したのか?
カナダ政府が委託したDeloitteによる医療分析は、約160万ドルの費用がかかり、The Independentの調査によれば、AIによって生成されたと見られる不正確さが含まれています。5月にニューファンドランド・ラブラドール州政府によって公開されたこの526ページの文書は、同州の医療分野における最近のコンサルティング契約の中で最も高額なものの一つです。
この報告書は、当時リベラル党が主導していた保健・地域サービス省のために作成されました。報告書は、バーチャルケア、定着インセンティブ、そしてニューファンドランド・ラブラドールが深刻な看護師と医師の不足に直面している時期におけるCOVID-19パンデミックが医療従事者に与える影響を検討しました。しかし、その後のメディアレビューにより、これらの推奨事項を支える証拠の信頼性について疑問が提起されています。
カナダの最東端の州に焦点を当てた進歩的なメディアであるThe Independentは、複数の潜在的な不正確さと異常を発見しました。さらに、その調査によれば、基礎となる研究の引用の一部は、主要なストーリーが機械によって書かれていないにもかかわらず、人工知能ツールの助けを借りて作成または歪曲された可能性があることを示唆しています。
カナダの医療報告書で調査官が発見したエラーの種類は何ですか?
The Independentによると、Deloitteの報告書には虚偽の学術引用が含まれており、それは架空の学術論文を参照していました。これらの架空の情報源は、医療費支出の決定において重要な要素である費用対効果分析を支持するために使用されました。また、報告書は実際の研究者を彼らが関与していない研究に誤って帰属させ、存在しない強力な証拠があるかのように見せかけていました。
いくつかの引用はさらに進んで、共同執筆したことがないと述べた研究者によって共著されたとされる論文を説明しました。とはいえ、レビューはすべての参考文献が欠陥があると主張しているわけではありません。むしろ、懸念は、スタッフ配置、バーチャルケア、システム改革に関する報告書の結論に対する信頼を損なう可能性のある引用問題のパターンに集中しています。
この報告書は、カナダ呼吸療法ジャーナルに掲載されたとされる記事を引用しています。しかし、調査官はその論文をジャーナルのデータベースで見つけることができず、生成ツールがもっともらしく聞こえるが実在しない情報源を作り出した可能性があるという懸念を深めています。
DeloitteはAI生成の引用に関する疑惑にどのように対応したか?
Fortuneへの声明の中で、Deloitte Canadaの広報担当者は、作業の内容を擁護しました。「Deloitte Canadaは、我々の報告書で提示した提言を強く支持しています」と広報担当者は述べました。「報告書の結論に影響を与えない、少数の引用修正を行うために報告書を改訂しています。」
広報担当者は、人工知能が報告書自体を作成したわけではないと付け加えました。代わりに、AIは「少数の研究引用をサポートするために選択的に使用された」と述べました。しかし、医療研究の規模と財務的な利害関係を考慮すると、批評家たちは、機械生成された引用に対する限定的な依存であっても、より厳格な検証と透明性が求められると主張しています。
さらに、引用の修正が報告書の結論に影響を与えないという企業の立場は、注目を集めています。一部の学者や政策立案者は、捏造されたり誤って帰属された研究が、下流の費用対効果モデルや労働力予測を再評価することなくどのように修正されるのか疑問を呈しています。
影響を受けた研究者たちは、コンサルティング会社のファクトチェックプロセスについて何と言っているのか?
ノバスコシア州のダルハウジー大学看護学部の非常勤教授であるゲイル・トムブリン・マーフィー氏は、誤って引用された人物の一人でした。彼女はThe Independentに対し、デロイトが「存在しない」学術論文で彼女を引用したと述べました。彼女は、虚偽の引用で言及された他の6人の著者のうち、実際に一緒に仕事をしたことがあるのは3人だけで、記載された全員ではないと指摘しました。
「このようなことを考え出しているのであれば、かなりAIを使って作業を生成している可能性がありますね」とトムブリン・マーフィーは述べました。彼女のコメントは、生成ツールが説得力のあるが不正確な参考文献を作成できることに対する学術界の不安の高まりを浮き彫りにしています。特に、コンサルタントが各参考文献を厳密に検証しない場合においてです。
彼女はさらに、公的政策を導く報告書は、検証された高品質の証拠に基づいている必要があると警告しました。さらに、トムブリン・マーフィーは、政府と公衆がそのような作業に多額の費用を支払っているため、それは「正確で証拠に基づき、物事を前進させるのに役立つ」ものでなければならないと強調しました。彼女の批判は、単なる技術的な誤りではなく、デューデリジェンスの欠如があると認識されていることを強調しています。
政府が委託した報告書の費用はいくらで、政治的影響は何ですか?
先週水曜日にブログ投稿で公開された情報公開請求によると、カナダ政府はデロイトの調査に対して160万ドル弱を支払い、8回に分けて発行しました。月曜日の時点で、この報告書はその引用や方法論に関する新たな論争にもかかわらず、ニューファンドランド・ラブラドール政府のウェブサイトで依然として利用可能でした。
報告が提出されて以来、この州の政治的指導者が変わりました。ニューファンドランド・ラブラドール州の進歩保守党のリーダーであるトニー・ウェイクハム氏が、10月下旬に新しい州首相として就任しました。しかし、首相府も保健・コミュニティサービス省も、5月の報告書に関するFortuneの質問に即座に回答せず、これまでのところ公に懸念に対処していません。
その沈黙は、報告書の勧告が今後も健康政策を導くかどうかについての疑問を残しています。また、コンサルティング会社の調査が主要な公共サービスに影響を与える前にどのように精査されているかについて、州の立法者や連邦の監視機関によるさらなる精査の可能性をも示唆しています。
これらのデロイト報告書の誤りはオーストラリアの福祉ケースとどのように比較されるのか?
カナダでの発覚は、オーストラリアでの類似の問題に続くものです。7月、デロイトはオーストラリア政府が福祉のコンプライアンスを強化するために29万ドルの報告書を作成しました。この237ページの研究は生成技術に依存しており、後に存在しない学術研究への言及や連邦裁判所の判決からの捏造された引用を含む「幻覚」が含まれていることが判明しました。
研究者が問題を指摘した後、Deloitteはオーストラリアの研究の改訂版を発行しました。先月、政府のウェブサイトにひっそりとアップロードされた更新された報告書は、初期の文書作成において生成言語システムAzure OpenAIを使用したことを認めました。この認識は、外部の精査によって不完全な引用が明らかになった後にのみ行われました。
更新されたオーストラリアの報告書で、Deloitteは「更新は報告書の実質的な内容、発見、推奨事項に影響を与えるものではない」と記しました。しかし、批評家たちは、捏造された情報源が本質的に証拠に基づく推奨事項の信頼性に疑問を投げかけると主張し、単なる表面的な問題ではないとしています。さらに、この二度目の事例は、DeloitteのAI幻覚と同社の内部ファクトチェックの堅牢性に関する議論を一層激化させました。
Deloitteが直面した財務的影響と、カナダにとって未解決の問題は何か?
オーストラリアのケースの一環として、Deloitteの現地メンバーファームは、不完全な福祉報告書に対して連邦政府に部分的な返金を行うことが求められました。この財務的なペナルティは、AIに関連する不正確さが補償を必要とするほど深刻であると当局が判断したことを示しています。
対照的に、カナダの医療報告書に関連する返金や契約上の救済措置についての情報はまだ公開されていません。とはいえ、政策立案者、医療従事者、納税者が、証拠基盤に対する出版後の修正が必要となったこの研究に対して、十分な価値を得たのかどうかを問うにつれて、圧力が高まる可能性があります。
より広範に見ると、両方のエピソードは、政府が厳格な安全策なしに生成技術を使用する大手コンサルタントに依存する際のリスクの増大を浮き彫りにしています。また、特に長く複雑な政策報告書において、情報源を検証するためのより強力な基準が公共機関に必要であることを示唆しています。これらの報告書は、何年にもわたって重要なサービスを形作る可能性があります。
要約すると、Deloitteのカナダにおけるヘルスケアレビューとオーストラリアの福祉調査に対する進行中の精査は、AIを活用した研究が公共政策の決定に影響を与える際に、信頼できる証拠、透明性のある方法論、そして強固な監視が緊急に必要であることを強調しています。




