(潜在変数とモデル検証について説明します)
1)潜在変数
統計学において、潜在変数(latent variable、ラテン語: lateoの現在分詞、「隠れている」に由来) は、直接観察または測定できる他の観察可能な変数から数学的モデルを通じて間接的にのみ推測できる変数です。
潜在変数モデル( latent variable models)は観測変数と潜在変数の同時分布で表現された確率モデルの総称です。
観測変数を潜在変数の観点から説明することを目的とした数理モデルは、潜在変数モデルと呼ばれる。潜在変数モデルは、心理学、人口統計学、経済学、工学、医学、物理学、機械学習/人工知能、バイオインフォマティクス、ケモメトリックス、自然言語処理、計量経済学、管理、社会科学など、多くの分野で使用されている。
心理学の分野の因子分析手法によって作成される潜在変数は、通常、「共有」分散、つまり変数が一緒に「移動」する度合いを表します。相関関係のない変数は、共通因子モデルに基づく潜在的な構成をもたらすことができません。
経済学の分野における潜在変数の例としては、生活の質、企業の信頼度、士気、幸福度、保守主義などが挙げられます。
医学の多くの分野で潜在変数の方法論は使用されています。潜在変数アプローチに自然に役立つ問題のクラスは、時間スケール(参加者の年齢や研究ベースラインからの時間など)が研究対象の特性と同期していない縦断的研究です。このような研究では、研究対象の特性と同期する観察されていない時間スケールを、潜在変数を使用して観察された時間スケールの変換としてモデル化できる。この例として、疾患進行モデリングおよび成長のモデリングなどがある。
観測変数を潜在変数の観点から説明することを目的とした数理モデルは、潜在変数モデルと呼ばれる。潜在変数モデルは、心理学、人口統計学、経済学、工学、医学、物理学、機械学習/人工知能、バイオインフォマティクス、ケモメトリックス、自然言語処理、計量経済学、管理、社会科学など、多くの分野で使用されている。
2)潜在変数の拡張
2-1)状態空間モデル
時系列解析の状態空間モデルでは、直接観測できない潜在的な状態の存在を仮定します。
状態空間モデルとは、時系列データをモデル化する際に、直接観察できない「状態」と観測される「観測値」に分解してモデル化します。
「状態」は、潜在変数です。
北川 源四郎の解説では、「状態 xn 時刻 n までの情報のうち、将来の予測に必要なものを集約したものです。状態空間表現はUniqueではありません。
時系列解析(8)−状態空間モデル− 2019 北川 源四郎
この「状態空間表現はUniqueではない」という点は、重要です。
ゲルマンの入門書に詳しい実例が載っていますが、状態空間モデルは、物理モデルのように検証はできません。
複数の状態空間モデルのうち、ベストはモデルは、データの量とノイズによって異なります。
つまり、状態空間モデルは、データと比較した効率性で評価できますが、検証の反例をもとに、間違ったモデルを排除することはできません。
なぜなら、データが変われば、ベストはモデルが変化するからです。
時系列解析は、因果モデルではないので、問題がないという解釈もあり得ますが、筆者は、「モデル(状態空間表現)はUniqueではない」という問題は、潜在変数を含むモデルに共通する特徴であると考えます。
ダーウィンが進化論をかんがえた時には、遺伝子は発見されていませんでした。
ダーウィンは、遺伝子のような潜在変数を想定して、進化を考えました。
メンデルが実験をした時には、潜在変数の遺伝子は数学のモデルになりました。
しかし、実体としてのDNAが特定されるまでには、更に、時間がかかりました。
DNAの特定は、潜在変数が顕在化した稀な例です。
潜在変数が顕在化すれば、「モデルはUniqueではない」という問題が回避できます。
しかし、多くの潜在変数は顕在化せず「モデルはUnique」ではありません。
現在、顕在化の可能性が議論されている潜在変数モデルには、チョムスキーの言語モデルがあります。
ミームは、遺伝子をモデルにしています。
ミームは、潜在変数です。
「ミームのモデルはUniqueではない」ことがわかります。
ミームのモデルは、データ毎の効率性でしか評価できません。
2-3)非線形性の問題
20世紀、アメリカの心理学者、スキナーが猛威をふるいました。
スキナーは、潜在変数を否定しています。
刺激(原因)と反応(結果)が単純にモデル化されます。
このモデルでは、線形応答になってしまい、複雑な現象は再現できません。
ニューラルネットワークは、中間層(潜在変数)を導入することで、非線形性を再現しています。
中間層は、非線形を再現する補助ツールと考えられていたので、計算量とのトレードオフから、あまり中間層を多くとることはありませんでした。
この状況が一変したのが、ディープラーニングの成功です。
潜在変数を多用するニューラルネットワークの「モデルはUnique」ではありません。
これは、理論(物理など)モデルのミームの人には耐えられないようです。
仮説と検証は、理論科学のパラダイムです。
データサイエンスのパラダイムでは、「モデルはUnique」ではなく、データとノイズを見ながら、効率の良いモデルを選択します。
モデルは、頻繁に更新を繰り返す使い捨てであると考えると分かり易いです。
AIは、人間のように考えられない(因果モデルではない)という反論は、理論科学のパラダイムを示しています。
これは、モデルは使い捨てであるはずがないという先入観を示しています。
2-4)猫の潜在変数
正義や平和は、観察可能な変数から、間接的にのみ推測できる変数です。
これに対して、猫は、観察可能な変数と見なされます。
ところが、猫を画像認識した場合、猫は、ニューラルネットワークの潜在変数で、猫と識別できる画像データの集合になります。
猫は、直接観測が可能な変数ではなく、潜在変数になります。
ニューラルネットワークの潜在変数(猫モデル)は、学習結果によって異なります。
「猫モデルはUnique」ではありません。
ネットワーク構造と学習データの組合せの数の猫モデルがあります。
平和という潜在変数(平和モデル)も、猫モデルと似た条件を構成している可能性があります。
平和モデルは、脳の数だけあるはずです。
猫モデルを作成する場合の猫の学習データには、共通性があります。
一方、平和モデルの学習データは多様です。
恐らく、実際に戦争を体験した人とそうでない人の学習データには、大きなギャップがあります。
平和という変数(平和モデル)の共通性については、猫と同様に、データサイエンスを使えば、数量化した研究が可能です。
3)まとめ
ミームは、伝播性があり、かつ、人間の行動を左右する潜在変数です。
猫モデルを考えれば、人類は、ミームを解析するツールを手に入れつつあります。