本事情由中科大认知智能全国重点实验室 IEEE Fellow 陈恩红团队与华为诺亚方舟实验室完成。
陈恩红教授团队深耕数据挖掘、机器学习领域，在顶级期刊与会议上揭橥多篇论文，谷歌学术论文引用超两万次。
诺亚方舟实验室是华为公司从事人工智能根本研究的实验室，秉持理论研究与运用创新并重的理念，致力于推动人工智能领域的技能创新和发展。

数据是大措辞模型（LLMs）成功的基石，但并非所有数据都有益于模型学习。
直觉上，高质量的样本在教授 LLM 上预期会有更好的效率。
因此，现有方法常日专注于基于质量的数据选择。
然而，这些方法中的大多数独立地评估不同的数据样本，忽略了样本之间繁芜的组合效应。
如图 1 所示，纵然每个样实质量完美，由于它们的互信息冗余或不一致性，它们的组合可能仍旧次优。
只管基于质量的子集由所有三个优质样本组成，但它们编码的知识实际上是冗余和冲突的。
比较之下，另一个由几个相对较低质量但多样化的样本组成的数据子集在教授 LLM 方面可能传达更多信息。
因此，基于质量的数据选择并未完备符合最大化 LLM 知识节制的目标。

而本文旨在揭示 LLM 性能与数据选择之间的内在关系。
受 LLM 信息压缩实质的启示，我们创造了一条 entropy law，它将 LLM 性能与数据压缩率和前几步模型演习的丢失加以联系，分别反响了数据集的信息冗余程度和 LLM 对数据集中固有知识的节制程度。
通过理论推导和实证评估，我们创造模型性能与演习数据的压缩率呈负干系，而这常日会产生较低的演习丢失。
基于 entropy law 的创造，我们提出了一种非常高效且通用的数据选择方法用于演习 LLM，名为 ZIP，其旨在优先选择低压缩率的数据子集。
ZIP 分多阶段、贪心地选择多样化的数据，终极得到一个具有良好多样性的数据子集。

团队：中科大认知智能全国重点实验室陈恩红团队，华为诺亚方舟实验室

论文链接: https://arxiv.org/pdf/2407.06645

代码链接: https://github.com/USTC-StarTeam/ZIP

图 1

Entropy law

我们对数据压缩与 LLM 性能之间的关系进行理论剖析。
直觉上，演习数据的精确性和多样性会影响终极模型的性能。
同时，如果数据存在严重的内在冲突或模型对数据编码的信息节制不佳，LLM 的性能可能会次优。
基于这些假设，我们将 LLM 的性能表示为 Z ，其预期会受到以下成分的影响：

数据压缩率 R：直觉上，压缩率越低的数据集表明信息密度越高。

演习丢失 L：表示数据对模型来说是否难以影象。
在相同的根本模型下，高演习丢失常日是由于数据集中存在噪声或不一致的信息。

数据同等性 C：数据的同等性通过给定前文情形下下一个 token 的概率的熵来反响。
更高的数据同等性常日会带来更低的演习丢失。

均匀数据质量 Q：反响了数据的均匀样本级质量，可以通过各种客不雅观和主不雅观方面来衡量。

基于 Entropy law，我们提出两个推论：

如果将 C 视为常数，演习丢失直接管压缩率影响。
因此，模型性能由压缩率掌握：如果数据压缩率 R 较高，那么 Z 常日较差，这将在我们的实验中得到验证。

在相同的压缩率下，较高演习丢失意味着较低的数据同等性。
因此，模型学到的有效知识可能更有限。
这可以用来预测 LLM 在具有相似压缩率和样实质量的不同数据上的性能。
我们将在后续展示这一推论在实践中的运用。

ZIP：高度轻量化的数据选择算法

在 entropy law 的辅导下，我们提出了 ZIP 这一数据选择方法，通过数据压缩率来选择数据样本，旨在在有限的演习数据预算下最大化有效信息量。
出于效率考量，我们采取了一种迭代多阶段贪心范式，以高效地得到具有相对低压缩率的近似解。
在每轮迭代中，我们首先利用全局选择阶段来选择一组具有低压缩率的候选样本池，找到信息密度高的样本。
然后，我们采取粗粒度的局部选择阶段，选择一组与已选样本冗余度最低的较小样本集。
末了，我们利用细粒度的局部选择阶段，最小化要添加样本之间的相似性。
上述过程持续进行直到得到足够的数据，详细算法如下：

实验结果

1.ZIP 选择算法对付不同 LLM、在不同 LLM 对齐阶段的有效性

比拟不同的 SFT 数据选择算法，基于 ZIP 选择数据所演习得到的模型性能上展现出上风，并且在效率上也占优。
详细结果见下表：

得益于 ZIP 的模型无关、内容无感知的特性，其同样也可运用于偏好对齐阶段的数据选择。
而 ZIP 所选择的数据同样展现出了较大的上风。
详细结果见下表：

2.Entropy law 的实验验证

基于 SFT 数据选择实验，我们基于模型效果、数据压缩率以及模型在前几步演习的丢失，分别拟合了多条关系曲线。
结果见图 2 以及图 3，我们从图中可以不雅观察到三个成分之间的紧密关联。
首先，低压缩率数据常日会带来更好的模型效果，这是由于 LLMs 的学习过程与信息压缩高度干系，我们可以将 LLM 视为数据压缩器，那么压缩率较低的数据意味着更多的知识量，从而对压缩器更有代价。
同时，可以不雅观察到较低的压缩率常日伴随着更高的演习丢失，这是因难堪以压缩的数据携带了更多的知识，对 LLM 接管个中蕴含的知识提出了更大的寻衅。

图 2 Mistral-7B

图 3 Llama-3-8B

3.Entropy law 的实际运用

我们供应了一个 entropy law 在真实场景中辅导 LLM 演习数据增量更新的运用。
在该任务场景中，演习数据量保持相对稳定，只有一小部分数据会被修正。
结果见图 4，个中

到

是逐渐增量更新的 5 个数据版本，出于保密哀求，仅供应不同压缩率下模型效果的相对关系。
根据 entropy law 预测，假设每次增量更新后数据质量没有显著低落，可以预期随着数据压缩率的降落，模型性能会有所提升。
这一预测与图中数据版本

到

的结果同等。
然而，数据版本

显示出丢失和数据压缩率的非常增加，这预示了由于演习数据同等性低落导致的模型性能低落的潜在可能。
这一预测通过随后的模型性能评估进一步得到证明。
因此，entropy law 可以作为 LLM 演习的辅导原则，无需在完全数据集上演习模型直到收敛，便可预测 LLM 演习失落败的潜在风险。
鉴于演习 LLM 的高昂本钱，这一点尤其主要。

图 4