Weights Initialization in Deep Learning

深度学习中的权重初始化

  在深度学习中神经网络的权重初始化方法对模型的收敛速度和模型性能质量有着至关重要的影响。在深度神经网络中,随着层数的增多,我们在梯度下降的过程中,极易出现梯度消失或者梯度爆炸。因此,对权重w的初始化则显得至关重要,一个好的权重初始化虽然不能完全解决梯度消失和梯度爆炸的问题,但是对于处理这两个问题是有很大的帮助的,并且十分有利于模型性能和收敛速度。 [Read More]