Meta发布全新检索增强语言模型Atlas，110亿参数反超5400亿的PaLM(3)

作者将110亿参数的Atlas与诸如GPT-3和Chinchilla这些SOTA进行了比较。 结果显示，Atlas在zero-shot中的表现明显优于随机。结合去偏推理，Atlas的zero-shot得分甚至超过了5-shot的GPT-3（47.1% vs 43.9%）。 对于5-shot的设置，Atlas比GPT-3高出4%，同时使用的参数少了15倍，预训练计算量少了10倍。集合多任务训练之后，Atlas提高到56.6%，接近Gopher的5-shot性能（60.0%）。 最后，在全数据设置中，Atlas达到了65.6%的整体准确率，接近SOTA的水平。有趣的是，在这种设置下，Atlas的表现明显优于GPT-3，而在5-shot的设置下，它们的表现相似。

在15-shot的设置中，Atlas的得分是56.2%，比Gopher高出5.1分。 在64-shot的设置中，作者从整个训练集中均匀地选出用于训练的实例。而由此产生的训练集中，正样本是要多于负样本的。不过，Atlas依然达到了64.3%的准确率。 最后，作者在完整的训练集上对模型进行了微调，并取得了78%的准确率，只比ProoFVer低了不到1.5%。 其中，ProoFVer的架构采用的是一个用句子级注释训练的检索器，并提供与FEVER一起发布的维基百科语料库，而Atlas则是从CCNet和陈旧（2021年12月）的维基百科中检索。 于是，作者尝试着也采用由FEVER维基百科语料库组成的索引，果然Atlas刷新了SOTA，达到80.1%的水平。

再突破！ 曹原新年首篇Nature