Bias and Variance

偏差与方差

  在监督学习中,已知样本 $D = \left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{n}, y_{n}\right)$,对于测试样本 $x$,令 $y_D$ 为 $x$ 在数据集中的标记,$y$ 为 $x$ 的真实标记, $f(x;D)$ 为训练集 $D$ 上学得模型 $f$ 在 $x$ 上的预测输出。 [Read More]

Locally Weighted Linear Regression

局部加权线性回归

  实践过程中纯直线的数据关系比较少,所以线性回归有一定的局限性,标准的线性回归是一种无偏差估计,在计算所有点的时候都是无偏差的计算误差并通过优化方法优化误差,如果针对不同的点能够对误差进行调整便可以一定程度上避免标准线性回归带来的欠拟合现象,也就是引入偏差来降低预测的均方误差,本部分总结下局部加权线性回归的方法。 [Read More]