自由度

基本上是参数个数减1.

极大似然估计

假设 $X​$ 是一随机变量(random variable),$x​$ 是它的一个实现(realization)。

  • $P(x;\theta)​$(密度函数):参数为 $\theta​$ 时 $x​$ 出现的概率。这里的 $\theta​$ 是一个参数(parameter),是固定的,但是可能已知也可能未知。
  • $P(X \theta)$ (条件概率):随机变量 $\Theta$ 为 $\theta$ 时,$x$ 出现的概率。这里 $\theta$ 是随机变量 $\Theta$ 的一个实现。随机变量 $\Theta$ 是不确定的,服从一个概率分布。
  • $P(x,\theta) $(联合概率):随机变量 $\Theta$ 为 $\theta$ 且随机变量 $X$ 为 $x$ 的概率。

先验概率 vs 后验概率

  • 先验概率
    • 事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。
    • 一般都是单独事件概率,如 $P(x)$,$P(y)$。
  • 后验概率
    • 指某件事已经发生,想要计算这件事发生的原因是由某个因素引起的概率。