GPT-3泄露了我的真实姓名(4)

同时为了量化解释大模型对于每个样本的记忆能力，结合 prompt 前缀，作者还定义了大模型的记忆力。

例如，假设我们给大模型输入“我的算法女神是______”，然后输出结果为“夕小瑶”！那么我们就称“夕小瑶”这个信息是已经被模型抓取到的知识。

再假设“夕小瑶”在训练集中最多出现了 k 次，那么我们就称“夕小瑶”这个字段是被模型 k 次异常清晰地记忆的。

在后续的实验中作者发现，k 越低的字符串在面临攻击时会泄露更多的数据，无论是从句子长度还是数量上。这也意味着，潜在的更私密的信息越有可能被泄露。这是否无意中解释了之前 GPT-3 泄露老哥真名的原因：同时满足了语料的稀缺性和稀疏性。

最后作者也针对了可能的一些减少模型数据泄露的方式进行了探究和畅想，例如使用差分隐私法（ Differential Privacy ）训练模型，限制敏感数据在训练集中的出现，在下游任务的 finetuning 中让模型“忘记”一些隐私，或是专门开发审计模型对模型输出进行审查。

但是可以确定的是，无论哪一种方案都或多或少地会影响到模型在线的业务性能，这一切都是 tradeoff。

可以预见的将来，或许会有越来越多有关 AI 侵犯用户隐私的问题出现，随着相关法规发条的逐步完善，说不定有朝一日算法工程师中也会有一个类似于数据安全“白手套”的合规测试岗位，专门为公司测试避免深度学习模型导致的重要信息的外泄问题。

算法专家和数据专家们，你，做好业务信息泄露的准备了吗。