概率模型

概率模型（Statistical Model，也稱為Probabilistic Model）是用來描述不同隨機變量之間關係的數學模型，通常情況下刻畫了一個或多個隨機變量之間的相互非確定性的概率關係。從數學上講，該模型通常被表達為$(Y,P)$，其中$Y$是觀測集合用來描述可能的觀測結果，$P$是$Y$對應的概率分佈函數集合。若使用概率模型，一般而言需假設存在一個確定的分佈$P$生成觀測數據$Y$。因此通常使用統計推論的辦法確定集合$P$中誰是數據產生的原因。

大多數統計檢驗都可以被理解為一種概率模型。例如，一個比較兩組數據均值的司徒頓t檢驗可以被認為是對該概率模型參數是否為0的檢驗。此外，檢驗與模型的另一個共同點則是兩者都需要提出假設並且誤差在模型中常被假設為正態分佈。

定義

概率模型${\mathcal {P}}$是一個概率分佈函數或密度函數的集合。可分為參數模型，無參數和半參數模型。

參數模型是一組由有限維參數構成的分佈集合${\mathcal {P}}=\{\mathbb {P} _{\theta }:\theta \in \Theta \}$。其中$\theta$是參數，而$\Theta \subseteq \mathbb {R} ^{d}$是其可行歐幾里得子空間。概率模型可被用來描述一組可產生已知採樣數據的分佈集合。例如，假設數據產生於唯一參數的高斯分佈，則我們可假設該概率模型為${\mathcal {P}}=\{\mathbb {P} (x;\mu ,\sigma )={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left\{-{\frac {1}{2\sigma ^{2}}}(x-\mu )^{2}\right\}:\mu \in \mathbb {R} ,\sigma >0\}$。

無參數模型則是一組由無限維參數構成的概率分佈函數集合，可被表示為${\mathcal {P}}=\{{\text{all distributions}}\}$。

相比於無參數模型和參數模型，半參數模型也由無限維參數構成，但其在分佈函數空間內並不緊密。例如，一組混疊的高斯模型。確切的說，如果$d$是參數的維度，$n$是數據點的大小，如果隨着$d\rightarrow \infty$和$n\rightarrow \infty$則$d/n\rightarrow 0$，則我們稱之為半參數模型。