你是否好奇为什么现在的网络能深达百层、千层，而早期的网络连十几层都难以训练？ 这一切的巨大转变，都离不开一篇2015年的神作——《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。 它被誉为深度学习的“润滑油”和“加速器 ...

ICML2025年时间检验奖（Test of Time）颁给了Batch Normalization。在这篇发表于2015年的论文中，作者提出深度神经网络训练中的“内部协变量偏移”问题。直观理解，就是隐藏层的数据分布会随着训练的进行而变化，而前一层的变化又会影响下一层的学习。这种层与层 ...

说到Transformer，就不能不提它的好搭档——Layer Normalization（LayerNorm），简称LN。你可能要问，为啥Transformer要用LN而不是Batch Normalization（BN）呢？这背后可是有大学问的。 在聊“二选一”的问题前，我们先介绍下什么是Layer Normalization？什么是Batch Normalization?

所谓举例法，是指以恰当的事例来佐证自己的观点，例子应该典型、 精炼。举例法常用素材有： 1. From my everyday experience and observation I can list several examples that defend the statement that _____. 根据我 的日常经验和观察，我可以举出几个例子来证明_____。 2. There ...

批标准化通俗来说就是对每一层神经网络进行标准化 (normalize) 处理, 我们知道对输入数据进行标准化能让机器学习有效率地学习. 如果把每一层后看成这种接受输入数据的模式, 那我们何不 批标准化 所有的层呢? 具体而且清楚的解释请看到 我制作的 什么批标准化 ...

本系列文章面向深度学习研发者，希望通过 Image Caption Generation，一个有意思的具体任务，深入浅出地介绍深度学习的知识。本 ...