Adaboost

  Adaboost (Adaptive Boosting) 是一个通过逐步聚焦于基学习器犯错的样本、减少集成偏差的方法,其利用多个弱学习器的线性组合来达到一个强分类器的效果。Adaboost 的思想是:在算法中会对每一个样本赋予一个权重,在后续的训练中会提高前一轮被误分类的样本权重,而降低被正确分类的样本权重。既可以处理分类,也可以处理回归任务。对于弱学习器的分类任务,结合策略可以利用加权多数表决的方法,对于回归任务可以采用加权平均。 [Read More]

Neural Network

神经网络

  神经网络(Neural Network)是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 [Read More]

Feature Selection

特征选择

  特征选择在特征提取得到的众多特征中选择有意义的特征输入机器学习的算法和模型进行训练。特征选择有三个目的: 简化模型,是模型更易于研究人员和用户理解。 可解释性不仅让我们对模型效果的稳定性有更多把握,也能为业务运营等工作提供指引和决策支持。 改善性能,节约存储和计算开销。 改善通用性、降低过拟合风险。 特征的增多会大大提高模型的搜索空间,大多数模型需要的样本数目随着特征数量的增加而显著增加,特征的增加虽然能更好地拟合训练数据,但也可能增加方差。 [Read More]

Information Theory

KL 散度(Kullback-Leibler Divergence)   KL 散度(相对熵),是一种量化两种概率分布 P 和 Q 之间差异的方式,又叫相对熵。在概率学和统计学上,我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K-L散度能帮助我们度量使用一个分布来近似另一个分布时所损失的信息。 [Read More]