Model Metrics

　　值得注意的是，对于模型的指标，我们应该区分一下训练指标 (Training Metrics) 和验证指标 (Evaluation Metrics)。

训练指标又有全局训练指标（Global Training Metrics）和局部训练指标（Local Training Metrics）。
- 训练指标指在训练模型的时候需要参考的部分，会有一个总体的指标（即全局训练指标），可以说成是目标函数或者损失函数，目标是使得其最小化从而使模型达到最优。例如 LR 的交叉熵损失。
- 但在跌代的每一步优化中，则有一个局部训练指标，用来参考这一次迭代应该怎么选择参数的变化量，一般都是采用贪心策略。例如 LR 做梯度下降时每一次迭代都是选择梯度的反方向，或者决策树中的划分指标。
- 值得注意的是训练指标不一定非要一个全局的训练指标，可以只需要采用一个局部的训练指标即可。
验证指标
- 验证指标是针对已经训练好的模型做效果验证的时候可以采用，选择验证指标高的那个模型作为最终模型，即可以实现训练多个模型，选一个最好的。例如比赛中用的那些 AUC、Score 之类。
- 对于没有全局训练指标的模型，可以采用验证指标多里选优。

　　本博客在整理时会按照机器学习模型类型分成几个大的部分，其中分别会展开训练指标和验证指标：