加法模型 (Additive Model) 是一种非参数和参数方法折中组合的一种算法。

Additive Model

  当 $X \in \mathbb{R}^{p}$ $X=\left(X_{1}, \ldots X_{p}\right)$,$Y$ 是输出结果。

  对于参数方法的多维线性模型有:

  对于非参数方法的多维模型有:

  在单维数据上采用非参数方法更有优势 (更多的考虑 bias 而非 variance),但是在多维数据上,非参数方法的 variance 会是一个问题,测试错误会与维度成指数级别增长,也就是维度灾难;而参数方法在维度增长时测试错误只是呈线性级别增长,那么加法模型就考虑是否可以将这二者结合起来。

  我们在参数方法的线性模型中的每一项 $X_{i} \beta_{i}$ 替换成单变量的非参数方法 $r_{i}\left(X_{i}\right)$,这样就结合了二者的优势,提出了加法模型:

  这个方法比纯非参数模型更加简单,因为限制 $r$ 被分解成了很多单变量回归函数的。如果对函数 $r_{1}, \ldots r_{p}$ 不加限制的话,那么上式就不是可辨识的,那么就可以假设❓:

  采用加法模型的好处在于我们只需要依赖单变量平滑就可以解决问题了,而且加法模型折中之后比纯费参数模型拥有更低的 variance,比纯参数模型拥有更低的 bias。

  加法模型主要缺点也正源于我们只依赖单变量解决问题,而错失了潜在的变量之间的关系。有一定的补救办法是,如果采用线性模型,那么我们可以认为加入一些变量交叉项如 $r_{i j}\left(X_{i}, X_{j}\right)$ 和 $r_{i j k}\left(X_{i}, X_{j}, X_{k}\right)$。

Backfitting

  假定有数据集 $\left(x_{i}, y_{i}\right) \in \mathbb{R}^{p} \times \mathbb{R}$,$i=1, \dots n$,每个 $x_{i}=\left(x_{i 1}, \dots x_{i p}\right) \in \mathbb{R}^{p}$,则加法模型就变成了:

  这基于相同的可辨识假设 $\mathbb{E}\left(y_{i}\right)=\beta_{0}$,$\mathbb{E}\left(r_{j}\left(x_{i j}\right)\right)=0$,其中 $j=1, \dots p$。

  接下来介绍 backfitting 方法求解上式,我们先假设:

  然后循环地利用单变量平滑来估算每一个 $r_{1}, \ldots r_{p}$,直至收敛。

  文献中如下两个伪代码的说明:

Generalized Additive Model

-w798

References

  1. Additive model
  2. Additive Models