在机器学习的世界里，有一个函数几乎无处不在： Softmax。它将神经网络最后一层的打分变成一组概率，让模型能用“我有多确定”来回答问题。乍看，这只是一个便利的数学小工具；然而当我们把目光移向 19 世纪的统计力学，再回到 20 世纪的信息论，再 ...

Deepmind 出新招，ReLU 尽展优势。 Transformer 架构已经在现代机器学习领域得到了广泛的应用。注意力是 transformer 的一大核心组件，其中包含了一个 softmax，作用是产生 token 的一个概率分布。softmax 有较高的成本，因为其会执行指数计算和对序列长度求和，这会使得 ...