Normalization

归一化

  神经网络中有各种归一化算法:Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization (IN)、Group Normalization (GN)。从公式看它们都差不多,如下式所示:无非是减去均值,除以标准差,再施以线性映射。 [Read More]