エビデンスの階層を拡張する(2)

2)再現性の危機

 

2-1)要点整理



「戦略 > ヒューリスティック > エビデンスの階層」が基本です。

 

要点を復習します。

 

戦略は、目標を達成するために利用できるリソースが通常限られている時に必要になります。戦略には通常、目標と優先順位の設定、目標を達成するための行動の決定、行動を実行するためのリソースの動員が含まれます。戦略は、手段(リソース)によって目的(目標)がどのように達成されるかを説明します。

 

ヒューリスティックは、アンカー効果や効用最大化問題のような、最適な決定を生み出すためのルールに基づいた戦略です。ヒューリスティックな戦略は、人間、機械、抽象的な問題における問題解決を制御するために、簡単にアクセスできるが緩く適用できる情報を使用することに依存しています。個人が実際にヒューリスティックを適用すると、通常は期待どおりに機能します。体系的なエラーが起きる例外があります。



エビデンスの階層(a hierarchy of evidence)とは、エビデンスレベル( LOEs ,levels of evidence、 ELs,evidence levels )で構成される実験研究、特に医学研究から得られた結果の相対的な強さをランク付けするために使用されるヒューリスティックです。



エビデンスに基づく実践(Evidence-based practice)とは、職業上の実践は科学的エビデンスに基づくべきであるという考え方です。エビデンスに基づく実践は、意思決定の根拠としてエビデンスを奨励し、場合によっては要求します。エビデンスに基づく実践の目標は、意思決定の基盤を伝統、直感、非体系的な経験からしっかりと根拠づけられた科学的研究へと移行することにより、不健全または時代遅れの実践を排除し、より効果的な実践を採用することです。

 

1992年にエビデンスに基づく医療が導入されて以来、エビデンスに基づく実践は、医療関連専門職、教育、経営、法律、公共政策、建築などの分野に広がっています。科学研究における問題点(再現性の危機 など)を示す研究を踏まえて、科学研究自体にエビデンスに基づく実践を適用しようという動きもあります。科学のエビデンスに基づく実践に関する研究はメタサイエンスと呼ばれています。

 

ここまでで、注意すべき点があります。

 

エビデンスの階層では、統合化のためのメタアナリシスを除けば、RCTが、最も信頼のできる研究手法になります。

 

問題は、RCTがなぜ最も信頼のできる研究手法であると判断できるかという根拠になります。

 

「個人が実際にヒューリスティックを適用すると、通常は期待どおりに機能する」と言える根拠は何かになります。

 

エビデンスの階層」自体が、経験科学(ファクトに基づくEBL2)に基づいているのであれば、自己矛盾になってしまいます。



2-2)「再現性の危機」とは



エビデンスに基づく実践」は、「メタサイエンス」と「再現性の危機」に、関連しています。



英語版の「メタサイエンス」と「再現性の危機」の項目の記述は混乱しています。

 

「メタサイエンス」の項目と、前回引用しなかった「再現性の危機」の項目を並べてみます。

 

メタサイエンス(Metascience、メタ研究、 meta-research)は、科学そのものを研究するために科学的方法論を使用することです。メタサイエンスは、非効率性を減らしながら科学研究の質を高めることを目指しています。メタサイエンスは、「研究の研究」や「科学の科学」としても知られており、研究方法を使用して研究がどのように行われているかを研究し、改善できる点を見つけます。メタサイエンスは研究のすべての分野に関係しており、「科学の鳥瞰図」と表現されています。

 

1966年、初期のメタ研究論文が、10の著名な医学雑誌に掲載された295の論文の統計的手法を 調査した。その論文では、「読まれた論文のほぼ73%で、結論の正当性が無効なときに結論が導き出された」ことが判明した。その後の数十年間のメタ研究では、多くの科学分野の研究において、多くの方法論的欠陥、非効率性、不適切な慣行が発見された。多くの科学的研究は、特に医学とソフトサイエンスにおいて再現できなかった。「再現性の危機replication crisis、 replicability crisis)」という用語は、この問題に対する認識の高まりの一環として、2010年代初頭に作られた。



再現性の危機(Replication crisis)

 

再現性の危機とは、多くの科学的研究の結果が再現困難または不可能であるという、現在も続いている方法論的危機である。経験的結果の再現性は科学的方法の重要な部分であるため]、このような失敗はそれに基づく理論の信頼性を損ない、科学的知識の重要な部分に疑問を投げかける可能性がある。

 

再現性の危機という言葉は、問題に対する認識が高まる中で2010年代初頭に造られた 。原因と解決策の検討により、実証研究の実践を検証するために実証研究の方法を用いるメタサイエンスという新しい科学分野が生まれた。

 

「再現性の危機」は、2010年にできた言葉です。「再現性の危機」の項目の説明では、「メタサイエンスという新しい科学分野」は、2010年以降にできたことになります。

 

一方、「メタサイエンス」の項目の説明では、メタサイエンスは、1966年に始まっています。

 

筆者は、哲学は、基本的にメタ研究であると考えます。つまり、筆者のメンタルモデルでは、メタサイエンスは、ギリシア哲学に遡ります。

 

現在、「再現性の危機」は、混乱の極みにあります。

 

日本語版のウィキペディアの、「再現性の危機」は以下です。

再現性の危機sis, replicability crisis)とは、多くの科学実験の結果が他の研究者やその実験を行った研究者自身による後続の調査において再現することが難しい、もしくはできないという科学における方法論的な危機のことである。

 

日本語版のウィキペディアでは、「科学実験の再現性」を説明しています。

 

英語版のウィキペディアでは、「科学的研究の結果の再現性」を説明しています。

 

この2つは、全く異なります。

 

また、英語版のウィキペディアでは、検討は統計学の範囲であって、因果推論の科学は出てきません。つまり、ここには、相関関係と因果関係の混乱があります。

 

 Nature ダイジェストは、「研究の再現性」を扱っています。

研究の再現性に関する本誌の簡単なオンライン・アンケート調査から、衝撃的な事実が明らかになった。研究者1576人からの回答を分析した結果、70%以上が他の科学者の実験結果を再現しようとして失敗した経験を持っていて、自分自身の実験結果の再現に失敗した経験がある研究者も半数以上に上ることが分かったのだ。

 

科学者たちは、論文の再現性に関して、時に矛盾した態度を見せた。科学論文の再現性は大いに危機的な状況にあると答えた人が52%もいたのに対して、発表された論文の結果を再現できないならその結果は間違っているのだろうと考える人は31%未満で、ほとんどの研究者は発表された論文を依然として信頼していると言うのだ。

<< 引用文献

「再現性の危機」はあるか?−調査結果− 2016 Nature ダイジェスト Vol. 13 No. 8 

https://www.natureasia.com/ja-jp/ndigest/v13/n8/%E3%80%8C%E5%86%8D%E7%8F%BE%E6%80%A7%E3%81%AE%E5%8D%B1%E6%A9%9F%E3%80%8D%E3%81%AF%E3%81%82%E3%82%8B%E3%81%8B%EF%BC%9F%26minus%3B%E8%AA%BF%E6%9F%BB%E7%B5%90%E6%9E%9C%26minus%3B/77048

>>

 

スチュアート・リッチー著「Science Fictions あなたが知らない科学の真実」(2024)が、ベストセラーになっています。

 

筆者には、リッチー氏も混乱しているように見えます。

 

意図的なサンプリングバイアスの利用、pハッキングなど、統計学の範囲でも、科学研究にバイアスがかかっています。その結果、実験の再現性が低くなることがあります。

 

このような意図的なデータ操作には問題があります。

 

しかし、筆者は、意図的なデータ操作が発生する原因は、技術的に回避可能であると考えます。

 

問題は、意図的なデータ操作を補正しても、再現性がないことです。

 

2-3)未来の予測

 

ここで、再現性の問題の対象を簡単な実験に限定して考えます。

 

実験は、因果モデルの検証のために行います。

 

因果モデルとは、「原因=>結果」の関係をさします。

 

実験は、原因に介入することで、結果に変化が起こるかを観測します。

 

対象は、実験Aで、最初の実験試行にA(1)とラベルをつけます。

 

実験A(1)は、「原因AC(1)=>結果AE(1)」を意味します。

 

再現性とは、将来、実験A(2)を行ったときに、A(1)と同じ結果が得られることを指します。

 

実験A(2)は、未来に関する記述です。

 

実験A(2)は、「原因AC(2)=>結果AE(2)」を意味します。

 

再現性とは、「AC(1)=AC(2)の場合には、AE(1)=AE(2)が成り立つ」ことです。

 

これは、未来に対する予測になります。

 

「AC(1)=AC(2)の場合には、AE(1)=AE(2)が成り立つ」ためには、「原因=>結果」の因果構造が将来も成り立つことが必要になります。

 

ヒューム氏は、ある因果構造が、将来も成り立つという論理的な説明はできないと主張しました。

 

ポパー氏は、ヒューム氏のこの主張は正しいと考えました。

 

パール氏は、ある因果構造が、将来も成り立つ根拠は、主観であると言います。

 

これは、未来を予測する根拠は、主観だけであるという主張です。

 

筆者は、パール氏と同様に、「未来を予測する根拠は主観だけ」と考えます。

 

これは、科学が主観に基づいていることを意味します。

 

2-4)自由意思の問題

 

正確さに欠けますが、これ以外に、分かりやすい例をすぐには思いつかないので、トレンドの例をあげます。

 

トレンドは因果ではないので、トレンドに、科学的な根拠はありません。

 

日本は、少子化で、将来の人手不足が予測されています。

 

この根拠は、トレンド分析です。

 

仮に、トレンドで、人手不足が生じる場合でも、AIロボットを開発すれば、人手不足は、解消できます。

 

このように、人手不足というトレンドには、必然性は、まったくありません。

 

「AIロボットを開発する」か、否かは、自由意思の問題です。

 

人間に、自由意思があれば、「AIロボットを開発する」か、「AIロボットを開発しない」かを選ぶことができます。もちろん、「AIロボットの開発」に着手しても、失敗するかもしれません。しかし、「AIロボットの開発」に着手しなければ、「AIロボット」ができる可能性はありません。

 

このように人間には、自由意思があるので、ある因果構造が、将来も成り立つ根拠を、主観で判断できます。

 

ここで、「ある因果構造が、将来も成り立つ根拠」に主観が必要になる理由は、将来の予測は、自由意思の影響をうけるからです。

 

ポパー氏は、科学の確からしさを反証可能性に求めました。

 

反証可能性には2つの弱点があります。

 

第1に、検証が確率変数になる場合が普通であるということです。

 

この点を考えれば、反証よりも、ベイズ更新の方が実用的です。

 

第2に、自由意思の問題があります。

 

2024年現在、火星に人が行けるロケットはありません。

 

しかし、人間には、自由意思があるので、火星に人が行くロケットをつくることは可能です。

 

これは、火星に人が行くロケットが実現できるかという問題とは別の問題です。

 

もちろん、ロケットの設計には、信頼性の高い物理法則を適用するので、実現可能性について、試算をすることが可能です。

 

しかし、多くの社会科学の推論では、かって、そのようなことが起こっていないことが、将来も起こらないと考えますが、それには、根拠はありません。試算をする場合でも、物理法則のような確固たる根拠は少ないです。(注1)

 

例えば、1972年にローマクラブが「成長の限界」を発表したときには、人口減少が課題になると考えた人は、ほとんど、いませんでした。

 

2024年の現在は、世界規模で、人口減少が課題になっています。



注1:

生態学は、物質収支とエネルギー収支に基づいています。この点では、生態学の予測は、経済学の予測より、遥かに正確です。