每日一博 | BigCode 背后的大规模数据去重
🤗 宝子们可以戳阅读原文查看文中所有的外部链接哟! 目标受众 本文面向对大规模文档去重感兴趣,且对散列 (hashing) 、图 (graph) 及文本处理有一定了解的读者。 动机 老话说得好: 垃圾进,垃圾出 (garbage in, garbage out),把数据处理干净再输入给模型至关重要,至少对大语言模型如此。虽然现在一些明星大模型 (严格来讲,它们很多是 API) 的存在让大家恍惚产生了数据质量好像不那么重要了的错觉,但事实绝非如此。 在 BigScience 和 BigCode 项目中,在数据质量方面,我们面临的一个很大的问题是数据重复,这不仅包括训练集内的数据重复,还包括训练集中包含测试基准中的数据从而造成了基准污染 (benchmark contamination)。已经有研究表明,当训练集中存在较多重复数据时,模型倾向于逐字输出训练数据 [1] (这一现象在其他一些领域并不常见 [2]),而且训得的模型也更容易遭受隐私攻击 [1]。除了能避免上面两个问题外,去重还有不少好处: 让训练更高效: 你可以用更少的训练步骤获得相同的,甚至是更好的性能 [3] [4]。 防...

