Sigmoid 与 ReLU：激活函数的几何代价

以全新视角审视旧争论：激活函数作为几何算子

机器学习界正通过一个出人意料的优雅框架，重新审视深度学习中最基础的选择之一——激活函数。新的理论分析将深度神经网络视为几何系统，其中每一层都扮演着空间变换的角色，在高维空间中塑造决策边界。在这种视角下，经典的sigmoid与ReLU之争呈现出全新的维度：它变成了一个问题，即每种函数在多大程度上保留了使深度信息得以发挥作用的空间关系。

这不仅仅是一项学术研究。这些发现对推理效率、模型扩展以及像谷歌DeepMind、Meta FAIR和OpenAI这样的公司的工程师每天所做的架构决策都具有实际意义。

几何框架揭示了什么

这个论点的核心看似简单，实则不然。不妨把神经网络想象成一台机器，它不断扭曲输入空间——弯曲、拉伸、折叠，直到属于不同类别的数据点落在清晰的决策边界的两侧。为了使这种级联变换在多层网络中有效运作，每一层不仅需要知道某个点落在边界的哪一侧，还需要知道它距离边界的远近。

这种距离——即几何上下文——是关键信号。它告诉下游层，一个数据点是需要精细调整的临界值，还是可以作为更广泛表征的可靠分类。如果剥离了这个信号，更深层的处理就如同盲人摸象。

S型曲线如何破坏距离信息

sigmoid函数将所有实数映射到区间 (0, 1)。这听起来很简洁，但却给几何推理造成了毁灭性的瓶颈：

• 饱和区：对于远大于零或远小于零的输入，sigmoid 输出会聚集在 1 或 0 附近。距离边界 5 的数据点看起来几乎与距离边界 50 的数据点完全相同。
• 梯度饥饿：在这些平坦区域中，梯度会缩小到零——臭名昭著的 梯度消失问题——这会严重阻碍深度架构中的学习。
• 上下文崩溃：由于幅度信息被压缩，后续层无法区分置信度较低的激活和置信度极高的激活。早期层构建的丰富空间上下文信息永久丢失。

最终结果是，在基于S型函数的网络中增加层数会带来收益递减。深度不再是优势而是劣势，因为每一层接收到的几何地形图都已不完整，无法进行精细化处理。

为什么 ReLU 保留了重要的东西

修正线性单元（ ReLU ）采用了一种截然不同的方法：它直接传递正值，并将所有负值置零。这种分段线性行为具有重要的几何意义。

• 幅度保真度：对于正向激活，与决策边界的距离被精确保留。例如，12.7 的值仍然是 12.7——既不压缩，也不失真。
• 稀疏激活：通过将负值置零，ReLU 产生自然的稀疏性，这起到隐式正则化的作用，并减少推理过程中的计算开销。
• 线性梯度流：活动神经元的梯度是恒定的（等于 1），从而可以在数十层甚至数百层上进行稳定的训练。

正是这种对空间尺度的保留，使得像ResNet和现代 Transformer 变体这样的架构能够灵活地堆叠层数。每一层都接收到上游几何结构的忠实表示，从而能够划分出越来越精细的决策边界。

为什么这一点现在很重要：推理成本角度

随着行业重心从训练转向推理——这主要得益于大型语言模型、边缘人工智能和实时应用的部署——弱表征的代价变得显而易见。如果激活函数迫使网络变得更深或更宽以弥补上下文信息的丢失，那么这将直接导致更高的延迟、更大的内存消耗和更高的能耗。

对于探索高效模型设计的从业者来说，了解激活选择如何影响构建 NVIDIA 端到端模型优化管道已不再是可选项，而是一项竞争必需品。

想想规模：据报道，OpenAI 的 GPT-4 在其 Transformer层中使用了 GELU 激活函数（ ReLU的平滑近似）的变体。谷歌的 PaLM 系列也做出了类似的选择。这些并非随意之举，而是体现了对以下理念的深刻理解：在各层之间保留几何信息对于从每个参数中榨取最大表征能力至关重要。

背景：激活函数之争简史

20世纪80年代和90年代，Sigmoid函数在神经网络研究中占据主导地位，这主要是因为其优美的数学特性和生物学上的合理性。但随着21世纪10年代神经网络的深度不断增加，其局限性也变得不容忽视。

2012 年，Krizhevsky、Sutskever 和 Hinton 发表的AlexNet 论文是一个里程碑式的事件。通过采用 ReLU 函数，该团队在 ImageNet 数据集上实现了显著更快的训练速度，并推动了深度学习革命。此后，ReLU 函数家族不断扩展，包括 Leaky ReLU、PReLU、ELU、Swish 和 GELU——所有这些函数都旨在解决 ReLU 自身的缺陷（“神经元死亡”问题），同时保留其核心优势：保持运算幅度不变。

如果您正在了解这些组件如何融入更广泛的模型架构，我们的LangExtract 构建文档智能管道概述将为您提供有用的背景信息。

专家视角：几何作为一种设计原则

将激活函数重新定义为几何算子并非全新概念——像Ian Goodfellow和Yoshua Bengio这样的研究人员长期以来一直在讨论流形假说，该假说认为现实世界的数据位于高维空间中的低维曲面上。真正的新颖之处在于，它明确地揭示了激活选择与跨层边界距离信息的保留之间的联系。

这种视角提供了一个原则性的标准，不仅可以用于评估现有的激活函数，还可以用于评估未来的激活函数。任何候选函数都可以通过以下问题进行评估：它是保留了还是破坏了下游层构建有效决策边界所需的几何上下文？

接下来会发生什么？

有几个趋势值得关注：

1. 几何感知架构搜索：预计自动化工具 (NAS) 在选择每层的激活函数时会纳入几何保持指标。
2. 混合激活：一些研究人员正在尝试在不同的深度使用不同的激活函数——在输出层附近使用类似 sigmoid 的函数进行概率解释，在隐藏层中使用 ReLU 变体来保持空间保真度。
3. 硬件协同设计：随着 NVIDIA、AMD 和 Cerebras 等初创公司的定制 AI 芯片针对特定激活配置文件进行优化，激活函数的几何效率可能会影响芯片设计本身。

底线

sigmoid 与 ReLU 之争远非无关紧要——这是一个动态的设计决策，会对推理成本、模型深度和表征能力产生可衡量的影响。从几何角度审视激活函数，可以为我们提供一个严谨而直观的框架，帮助我们理解为什么 ReLU 及其衍生激活函数在现代深度学习中占据主导地位，以及为什么 sigmoid 对空间上下文的压缩使其越来越不适用于当今要求苛刻的架构。

对于工程师和研究人员来说，结论很明确：选择激活函数时，你不仅仅是在选择非线性函数，你还在决定你的网络能够感知到多少世界的几何结构。