克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

唯有改一瞥代码，就能让大模子锻真金不怕火效用普及至1.47倍。

领有得州大学奥斯汀分校配景四名华东谈主学者，建议了大模子锻真金不怕火优化器Cautious Optimizers。

在提速的同期，Cautious约略保证锻真金不怕火断毫不出现亏损，而且话语和视觉模子都适用。

该优化器以哈密顿量和下落能源学为表面基础，在加快的同期不影响经管特点。

作家在600M到1B不同参数领域的Llama模子上进行了老练，得到了最高47%的加快率。

该研究关系代码依然开源，在GitHub上有使用范例的详备教师。

一瞥代码修订大模子锻真金不怕火

Cautious Optimizers在PyTorch当中加多的一瞥代码，中枢想路是引入竣事一种掩藏机制，从而幸免参数更新的所在与现时梯度所在各异。

因为这两个所在一朝不一致，就有可能导致亏损函数暂时加多，酿成经管速率的减缓。

不外作家并未在所在不一致的起首问题上过度纠结，而是引入了一种判断机制，在参数更新之前加多一步盘算推算，从而过滤掉所在不一致的情形。

这也恰是上头代码的径直作用。

△GD：梯度下落，GDM：带动量的梯度下落，C-GDM：本技俩

具体来说，加入的两行代会对u和g两个向量求内积，u向量对应优化器给出的参数更新所在，而g向量对应现时工夫的梯度所在。

作家想象了一个对都掩码函数ϕ，当u和g的内积小于0时（即所在不一致），ϕ的输出为0向量；当内积大于就是0时，ϕ的输出为全1向量。

而一朝ϕ为零向量时，w_t盘算推算式中含u的项也会变为零向量，导致此项更新被跳过。

这么就不错判断参数更新和梯度所在是否一致，要是不一致则不会用于参数更新，幸免了锻真金不怕火进程中亏损函数的回升。

锻真金不怕火效用普及47%

为了评估Cautious Optimizers的具体断绝，作家划分在话语模子Llama和视觉模子MAE上进行了老练。

作家选取了60M、100M、350M和1B四种参数领域的Llama模子，在C4语料库上进行预锻真金不怕火。

优化器选择了AdamW和Lion，以及它们对应的Cautious版块:C-AdamW和C-Lion，每个推行中进行1万步迭代。

断绝C-AdamW和C-Lion在通盘领域上都进展出较着的经管加快断绝。

尤其是在1B领域上，比拟原版的AdamW和Lion，它们的样本效用划分提高了47%和28%，这标明Cautious Optimizer能有用减少锻真金不怕火震憾，使经管更稳固高效。

何况，Cautious Optimizer在通盘情况下都取得了更低的困惑度，印证了其出色的泛化性能。

为了评估模子的骨子断绝，研究者在语句匹配、文本蕴含、情谊分类等6个GLUE下流任务上测试了AdamW和C-AdamW优化后1B模子的进展,

断绝标明，C-AdamW的平均得分比AdamW超过2%，在大大宗任务上都取得了越过，诠释Cautious跳过部分参数更新的容貌不会引起模子性能下落。

关于视觉模子，作家以ViT为主干收罗，在ImageNet-1K数据集上预锻真金不怕火了MAE模子。

由于视觉任务的特别性，锻真金不怕火进程接管了当场装束图像块并重建的范式，因此优化主义是最小化重建裂缝，而非频繁的分类亏损。

作家对比了AdamW和C-AdamW的进展，即锻真金不怕火50轮后的最终重建裂缝，断绝C-AdamW的裂缝为0.5926，低于AdamW的0.6085。

一作曾在一周内复刻o1

本技俩是由四名华东谈主学者共同打造的。

第一作家Kaizhao Liang，是AI推理加快处事商SambaNova公司的又名高档ML工程师。

在o1模子发布一周内，该公司就推出了一个近似o1模子想考进程的开源平替，主要作家恰是Liang。

其他三名作家是得州大学奥斯汀分校CS助理教训Qiang Liu，以及他的两名博士生，Lizhang Chen和Bo Liu。

此外，Liang的东谈主工智能硕士学位亦然从该校得到。

论文地址：

https://arxiv.org/abs/2411.16085GitHub：

https://github.com/kyleliang919/C-Optim

— 完 —

量子位 QbitAI · 头条号签约

热诚咱们，第一时代获知前沿科技动态