自由度
基本上是参数个数减1.
极大似然估计
假设 $X$ 是一随机变量(random variable),$x$ 是它的一个实现(realization)。
- $P(x;\theta)$(密度函数):参数为 $\theta$ 时 $x$ 出现的概率。这里的 $\theta$ 是一个参数(parameter),是固定的,但是可能已知也可能未知。
-
$P(X \theta)$ (条件概率):随机变量 $\Theta$ 为 $\theta$ 时,$x$ 出现的概率。这里 $\theta$ 是随机变量 $\Theta$ 的一个实现。随机变量 $\Theta$ 是不确定的,服从一个概率分布。 - $P(x,\theta) $(联合概率):随机变量 $\Theta$ 为 $\theta$ 且随机变量 $X$ 为 $x$ 的概率。
先验概率 vs 后验概率
- 先验概率
- 事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。
- 一般都是单独事件概率,如 $P(x)$,$P(y)$。
- 后验概率
- 指某件事已经发生,想要计算这件事发生的原因是由某个因素引起的概率。