比年来，尽管深度学习取得了广泛得胜，然而东说念主们对其表面的领会仍然滞后。

正因此，尝试从表面角度解释深度学习的亏蚀函数和优化历程的参谋课题，受到了较多平和。

天然在深度学习中使用的亏蚀函数，时常被视为高维复杂黑盒函数，然而东说念主们信服这些函数特地是在实践锤真金不怕火轨迹中遭受的部分，包含着复杂的良性结构，省略灵验促进基于梯度的优化历程。

就像好多其他科学学科相通，构建深度学习表面的要津一步，在于领会从实验中发现的不世俗状态，从而报告其潜在的机制。

最近，规模内学者发现了一个引东说念主留心标状态——Mode Connectivity。

即通过两次孤立梯度优化得到的不同最优点，在参数空间中不错通过肤浅的旅途连接，而旅途上的亏蚀或准确率险些保抓恒定。

这一状态毫无疑问是令东说念主诧异的，因为非凸函数的不同最优点，很可能位于不同且孤单的“山谷”中。

然而，关于在实行中找到的最优点来说，它们身上却莫得发生这种情况。

更真谛的是，一些参谋者发现了比 Mode Connectivity 更强的 Linear Mode Connectivity。

针对 Linear Mode Connectivity 的参谋标明，不同的最优点不错通过线性旅途连接。

第一个集会是 Spawning Method。

当集会从驱动化出手，锤真金不怕火小数 epoch 以后，将参数复制一份，借此得到两个集会。然后，这两个集会赓续在不同的马上性下进行孤立锤真金不怕火。

第二个集会是 Permutation Method。

即领先孤立锤真金不怕火两个集会，随后重新摆设其中一个集会的神经元，以匹配另一个集会的神经元。

在此前一项责任中，上海交通大学周展鹏博士和上海东说念主工智能实验室的配合者，但愿从特征学习的角度解释 Linear Mode Connectivity。

并苛刻这么一个问题：当线性插值两个经过锤真金不怕火的集会的权重时，里面特征会发生什么变化？

图 | 周展鹏（开首：周展鹏）

通过参谋他们发现，险些扫数层中的特征也得志一种强神气的线性运动：即权重插值采集聚的特征图，与两个原始采集聚特征图的线性插值类似相易。

他们将这个状态称之为 Layerwise Linear Feature Connectivity。

此外，他们发现：Layerwise Linear Feature Connectivity 老是和 Linear Mode Connectivity 同期发生。

并证实了这一规定：若是两个在相易的数据集上锤真金不怕火的模子得志 Layerwise Linear Feature Connectivity，那么它们也能同期得志 Linear Mode Connectivity。

进一风景，课题组真切参谋了产生 Layerwise Linear Feature Connectivity 的原因。

并详情了两个要津条目：即 ReLU 函数的弱可加性和两个经过锤真金不怕火的集会之间的可交换性属性。

从这两个条目开赴，他们证实得到了 ReLU 采集聚的 Layerwise Linear Feature Connectivity，并用实验考证了这两个条目。

同期，他们还证实：Permutation Method 是通过让两个集会得志可交换性，从而使得它们省略得志 Linear Mode Connectivity 的。

总的来说，课题组发现了一种比 Linear Mode Connectivity 更具细粒度、更省略得志神经网路的线性性质。

不外，上述发现齐是基于在统一个数据集上锤真金不怕火得到的集会。

于是，他们苛刻了一个新问题：Layerwise Linear Feature Connectivity 能否在两个在不同数据集上锤真金不怕火的模子上竖立？

该团队把稳到：Spawning Method 和预锤真金不怕火-微调的锤真金不怕火范式很接近。即 Spawning Method 和微调齐是从一个照旧经过一段时间锤真金不怕火的模子开赴开展进一步的锤真金不怕火。

只不外，Spawning Method 中的模子在相易数据集上赓续锤真金不怕火，而微调中的模子不错在不同数据集上锤真金不怕火。

在近期一项责任中，他们发现时预锤真金不怕火-微调的范式下，不同的微调模子之间也得志 Layerwise Linear Feature Connectivity 的性质，课题组将其称之为 Cross-Task Linearity。

其发现：在预锤真金不怕火-微调的范式下，集会实践上更类似于一个从参数空间到特征空间的线性映射。

即 Cross-Task Linearity 将 Layerwise Linear Feature Connectivity 的界说，推广到了不同数据集上锤真金不怕火的模子上。

真谛的是，该团队还使用 Cross-Task Linearity 的发现，来解释了两种常见的模子交融的手艺：

其一，Model Averaging 取多个模子在相易数据集上、但使用不同超参数建树微调的权重的平均值，借此不错擢升准确性和鲁棒性。

参谋中，课题组权重的平均解释为在每一层特征的平均，从而开导了 Model Averaging 和模子集成之间的精细连络，进而解释了 Model Averaging 的灵验性。

其二，只需通过肤浅的算术操作，Task Arithmetic 就能合并在不同任务上微调的模子的权重，从而相应地限制模子的算作。

参谋中，该团队将参数空间中的算术操作转动为特征空间中的操作，借此从特征学习的角度解释了 Task Arithmetic。

随后，他们议论了 Cross-Task Linearity 产生的条目，发现了预锤真金不怕火关于 Cross-Task Linearity 的进犯性。

实验成果分解：从预锤真金不怕火阶段获取的共同学问，有助于得志 Cross-Task Linearity 的要求。

参谋中，其还初步尝试证实 Cross-Task Linearity，并发现 Cross-Task Linearity 的出现与 Network Landscape 的 flatness 以及两个微调模子之间权重的差距联系。

日前，关联论文以《论预训蜕变中跨任务线性的产生》（On the Emergence of Cross-Task Linearity in Pretraining-Finetuning）为题发在外洋机器学习大会 ICML（International Conference on Machine Learning）2024 上[1]。

图 | 关联论文（开首：ICML 2024）

课题组暗示：但愿本次发现能启发更好的模子交融算法。

未来，若是需要构建多智商的微调大模子，大模子交融将会成为中枢手艺之一。而本次责任为大模子交融提供了塌实的实验和表面撑抓，省略启发更好的大模子交融算法。

接下来，他们但愿从 Training Dynamics 的角度领会 Linear Mode Connectivity、Layerwise Linear Feature Connectivity、以及 Cross-Task Linearity。

尽管他们照旧从特征层面得到了一些解释，然而仍然无法从第一性旨趣的角度解释 Linear Mode Connectivity。

举例，为什么 Spawning Method 中只需要先锤真金不怕火小数 epoch，就不错最终得到两个得志 Linear Mode Connectivity 的模子？

以及，该怎么瞻望这么一个 Spawning Time？要思回话这些问题，就需要从锤真金不怕火和优化的角度领会 Linear Mode Connectivity，而这亦然该团队的后续起劲主义。

参考贵府：

1.Zhou, Z., Chen, Z., Chen, Y., Zhang, B., & Yan, J. On the Emergence of Cross-Task Linearity in Pretraining-Finetuning Paradigm. In Forty-first International Conference on Machine Learning.

运营/排版：何晨龙