Influential AI paper（2024）

一月：Mixtral的专家混合方法

论文详见：

https://wcn4il2c5x2d.feishu.cn/file/QUkbbLqpTob81zxfCujcrS6lnvc

Mistral AI团队于2024年1月8日分享了“Mixtral of Experts”论文，提出了Mixtral 8x7B，这是一种稀疏专家混合模型（Sparse Mixture of Experts, SMoE）。

这篇论文和模型当时都产生了很大影响，因为Mixtral 8x7B是首批开源的MoE LLM之一，并且在各种基准测试中表现出色，超越了Llama 270B和GPT-3.5。

1.1 理解MoE模型

MoE，即专家混合（Mixture of Experts），是一种集合模型，结合了多种较小的“专家”子网络到类似GPT的解码器架构中。每个子网络负责处理不同类型的任务或更具体地说是不同的token。通过使用多个较小的子网络而非单一的大网络，MoE旨在更高效地分配计算资源。

Mixtral 8x7B通过将Transformer架构中的每个前馈模块替换为8个专家层，具体如图所示：

(此处为论文中的架构示意图)

“稀疏”专家混合模型中的“稀疏”指的是，在任意时间内，只有部分专家层（例如，Mixtral 8x7B中的8层中通常只有1到2层）被激活用于处理token。

前馈模块基本上是一个多层感知机（MLP）。在类似PyTorch的伪代码中，其逻辑大致如下：

此外，还有一个Router模块（也称为门控网络），将每个token嵌入重新分配到8个专家前馈模块中，这些专家前馈层的输出随后会被汇总。

1.2 如今MoE模型的意义

在年初，我曾以为开源的MoE模型会比现在更受欢迎并更广泛应用。但许多最先进的模型仍依赖于密集型（传统的）LLM，例如Llama 3、Qwen 2.5、Gemma 2等。当然，对于像GPT-4、Gemini和Claude这样的大型专有模型，我们无法知晓其内部架构，它们很可能在底层使用了MoE。

无论如何，MoE架构依然有意义，尤其是作为一种高效扩展大型语言模型的方法，它可以在不牺牲模型容量的情况下，通过激活一小部分参数来降低计算成本。

二月：权重分解LoRA

论文详见：

https://wcn4il2c5x2d.feishu.cn/file/Drngbb4bnoAgabxoGHrcmib4nEd

你在微调开放权重的大型语言模型（LLM）时，可能已经使用过低秩适应（LoRA）。

2.1 LoRA回顾

在介绍DoRA之前，先来快速回顾一下LoRA的基本概念：

全微调会通过计算一个大规模的权重更新矩阵ΔW来更新LLM中的每个大权重矩阵W。LoRA将ΔW近似为两个较小矩阵A和B的乘积。因此，LoRA采用的是W + A·B，而不是W + ΔW。这大大减少了计算和内存的开销。

下图展示了全微调（左）和LoRA微调（右）的公式对比。

2.2 从LoRA到DoRA

在《DoRA：权重分解低秩适应》（2024年2月）这篇论文中，首先将预训练权重矩阵分解为两个部分：幅度向量m和方向矩阵V，扩展了LoRA方法。这一分解的根本思想是：任何向量都可以由其长度（幅度）和方向（朝向）表示，在此我们将这一思路应用到权重矩阵的每个列向量上。一旦得到了m和V，DoRA就对方向矩阵V进行LoRA风格的低秩更新，同时允许幅度向量m单独进行训练。

这种两步法为DoRA提供了比标准LoRA更多的灵活性。与LoRA通常对幅度和方向进行均匀缩放不同，DoRA可以进行微妙的方向调整，而不一定增加幅度。结果是性能和稳健性的提高，因为DoRA即使在使用更少的参数时，也能超过LoRA，并且对秩的选择不那么敏感。

2.3 LoRA及类似方法的未来

DoRA是对原始LoRA方法的小而合乎逻辑的改进。尽管它尚未被广泛采用，但它增加的复杂性非常小，值得在下一次微调LLM时考虑。

三月：持续预训练LLM的技巧

论文详见：

https://wcn4il2c5x2d.feishu.cn/file/SNt3bP63toQ9mrxZG8qc26snnrb

据我所知，指令微调是LLM实践者中最受欢迎的微调形式。其目的是让公开可用的LLM更好地遵循指令，或使这些LLM在特定子集或新指令上进行专业化。然而，涉及到吸收新知识时，持续预训练（有时也称为不断预训练）是更为有效的方法。

3.1 简单的技巧有效

成功应用持续预训练的主要技巧是什么？

1.简单地重新加热（re-warming）和重新衰减学习率。

2.向新数据集中添加一小部分（例如5%）原始预训练数据，以防止灾难性遗忘。值得注意的是，像0.5%和1%这样的较小比例也同样有效。

具体来说，关于第1点的重新加热和重新衰减，意味着我们采用与LLM初始预训练阶段相同的学习率调度，如下图所示。

3.2 这些简单技巧是否能继续有效？

值得注意的是，最近几个月预训练流水线已经变得更加复杂，包含多个阶段，包括短文和长文上下文的预训练。

因此，为了获得最佳效果，在某些情况下，本文中建议的方案可能需要根据具体情况进行调整。

四月：LLM对齐用DPO或PPO，还是两者结合？

论文详见：

https://wcn4il2c5x2d.feishu.cn/file/ZXLBbjDQmoOnJIxc8Xpcg12Encb

4.1 RLHF-PPO与DPO：它们是什么？

首先了解一下近端策略优化（PPO）和直接偏好优化（DPO）这两种在通过人类反馈强化学习（RLHF）对LLM进行对齐时非常流行的方法。RLHF是对LLM进行对齐，使其更好地遵循人类偏好，提高响应质量和安全性的一种方法。

传统上，RLHF-PPO是训练LLM模型（如InstructGPT和ChatGPT）中的一个关键步骤。然而，DPO自去年开始逐渐受到关注，主要因为它的简便性和高效性。与RLHF-PPO不同，DPO不需要单独的奖励模型，而是通过类似分类的目标直接更新LLM。目前许多LLM使用DPO，尽管与PPO的全面对比仍然不足。

4.2 PPO通常优于DPO

PPO通常优于DPO，且在处理分布外数据时，DPO效果较差。

这里所说的“分布外数据”指的是，语言模型先前通过监督微调在与DPO使用的偏好数据不同的指令数据上进行训练。例如，模型可能在普通的Alpaca数据集上训练，然后在不同的偏好标签数据集上进行DPO微调。（然而，提高DPO在分布外数据上的效果的一种方式是，先使用偏好数据集进行监督指令微调，然后再进行DPO微调。）

主要发现总结如下图所示。

4.3 目前PPO与DPO的应用

尽管PPO在生成的LLM的原始建模性能上可能略占优势，但DPO更容易实现，且计算上更高效（毕竟不需要训练和使用单独的奖励模型）。因此，据我所知，DPO在实际应用中比RLHF-PPO更广泛使用。

虽然Llama 2是使用RLHF-PPO进行训练的，但更新的Llama 3模型则使用了DPO。

有趣的是，最近的模型甚至同时使用了PPO和DPO。近期的例子包括Apple的基础模型和Allen AI的Tulu 3模型。

五月：LoRA学习较少且遗忘较少

论文详见：

https://wcn4il2c5x2d.feishu.cn/file/SicVbTTrooIIfTx0wxScdATtnjh

《LoRA学习较少且遗忘较少》是一项经验性研究，比较了低秩适应（LoRA）与大规模语言模型（LLM）上的全微调，重点是两个领域（编程和数学）和两个任务（指令微调和持续预训练）。

5.1 LoRA学习较少

《LoRA学习较少且遗忘较少》研究表明，LoRA在学习新知识时明显少于全微调，特别是在编程等需要学习新知识的任务中。当仅进行指令微调时，差距较小。这表明，在新数据上的预训练（学习新知识）比将预训练模型转变为指令跟随者更有效。

全微调 vs LoRA：性能在HumanEval上进行了衡量，HumanEval是一个包含164个编程挑战的数据集。

尽管如此，也有一些细微差别。例如，在数学任务中，LoRA和全微调之间的差距缩小了。这可能是因为数学问题对LLM来说更为熟悉，它们很可能在预训练时遇到过类似的问题。相比之下，编程涉及一个更为独特的领域，需要更多新的知识。因此，新的任务离模型的预训练数据越远，全微调在学习能力上变得越有益。

5.2 LoRA遗忘较少

在考察模型遗忘之前学习的知识时，LoRA始终遗忘较少。特别是在适应远离源领域的数据时（例如编程任务），这一点尤为明显。对于编程任务，全微调会导致显著的遗忘，而LoRA则能更好地保留原有的能力。在数学任务中，由于模型的原始知识已经更接近新任务，因此两者的差异不那么明显。

全微调 vs LoRA：在编程数据上训练后，模型在原始源任务上的表现。

5.3 LoRA的权衡

总体而言，存在一种权衡：全微调对于吸收来自更远领域的新知识更为有效，但会导致更多之前学习任务的遗忘。LoRA通过更改较少的参数，学习较少的新信息，但保留了更多原始能力。

5.4 未来的微调方法

这项研究主要比较了LoRA与完整微调。在实践中，LoRA已经因其比完整微调更具资源效率而受到广泛关注。在许多情况下，完整微调由于硬件限制根本不可行。此外，如果只是需要处理专门化的应用，单独使用LoRA也足够。由于LoRA适配器可以与基础LLM分开存储，用户可以在添加新能力的同时保留原始能力。此外，还可以将这两种方法结合起来，使用完整微调进行知识更新，再用LoRA进行后续的专业化。

六月：15万亿标记的 FineWeb 数据集

论文详见：

https://wcn4il2c5x2d.feishu.cn/file/YDBPbmGPPoHrDsxSb8fcKKxynfg

《FineWeb 数据集：从网络中筛选出高质量大规模文本数据》介绍了为大语言模型（LLM）构建的15万亿标记数据集。

6.1 与其他数据集的比较

尽管目前已有多个大规模LLM预训练数据集，FineWeb 数据集的特别之处在于？

其他数据集的规模：

•RefinedWeb：5000亿tokens

•C4：1720亿tokens

•Dolma 1.6 和 1.7（基于 Common Crawl）：分别为3万亿和1.2万亿tokens

•The Pile：3400亿tokens

•SlimPajama：6270亿tokens

•RedPajama（去重后）：20万亿tokens

•Matrix（英文 CommonCrawl 部分）：1.3万亿tokens

•CC-100（英文部分）：700亿tokens

•Colossal-OSCAR：8500亿tokens

这些数据集中的许多因其规模较小，只适合用于训练较小的模型。例如，根据 Chinchilla 缩放法则，约3600亿标记的数据集仅适合训练1.7B参数的小型LLM。而 FineWeb 数据集的15万亿标记则足以支持高达5000亿参数的模型。

质量问题：虽然 RedPajama 数据集包含了20万亿标记，但研究者发现，RedPajama 的过滤规则导致其训练的模型性能低于使用 FineWeb 数据集训练的模型。

FineWeb 的规模和过滤规则使其成为支持训练大规模LLM的理论最佳选择之一。

6.2 数据集的构建原则

FineWeb 数据集不仅规模大，还在开发过程中展现了严格的科学方法：

•数据来源：FineWeb 以 CommonCrawl 网页语料库为基础。

•过滤规则开发：研究者设计并测试了多种过滤规则，并通过对比实验评估它们的有效性：

•从原始数据和过滤后数据中随机抽取3600亿标记。

•用这些标记训练一个1.71B参数的小型 Llama 模型。

•基于标准基准数据集（如 HellaSwag、ARC、MMLU 等）的模型性能来判断每个过滤规则是否有益。

这些实验为 FineWeb 数据集的质量提供了坚实的保障。

6.3 FineWeb 的现今意义

尽管目前预训练数百亿到数千亿参数的LLM仍然超出大多数研究机构和企业的能力范围，FineWeb 数据集的公开发布是推动LLM开发民主化的重要一步。

•研究价值：FineWeb 提供了一个高质量的资源，使研究者可以探索高性能LLM的预训练策略。

•工业应用：例如，Meta AI 的 Llama 3（8B、70B 和 405B 参数规模）使用15万亿标记进行了训练。虽然 Meta 的训练数据集并未公开，但 FineWeb 为类似规模的模型开发提供了可能性。

这篇论文不仅为LLM预训练提供了一个宝贵的公共资源，也展示了如何通过系统化的方法筛选和优化海量数据，推动领域进一步发展。

---未完待续

2024年具有影响力的AI论文（上）