关于ChatGPT八个技术问题的猜想-张家俊(2)

2. 为什么面向对话的微调没有遭遇灾难性遗忘问题？

灾难性遗忘问题一直是深度学习中的一个挑战，经常因为在某个任务上训练后就丧失了在其他任务上的性能。例如，一个30亿参数的基础模型，先在自动问答数据上进行微调，然后在多轮对话数据上进行微调，结果会发现模型的问答能力大幅度下降。ChatGPT似乎不存在这个问题，其在基础模型GPT-3.5上进行了两次微调，第一次依据人工标注的对话数据进行微调，第二次根据人类反馈的强化学习进行微调，微调使用的数据很少，尤其是人类反馈的打分排序数据更少，微调后竟然仍然表现出强大的通用能力，而并没有完全过拟合到对话任务。这是个非常有趣的现象，也是我们没有条件验证的现象。猜测可能有两方面的原因，一方面是ChatGPT使用的对话微调数据实际可能包含了非常全面的NLP各种任务，正如InstructGPT中对用户使用API的问题分类可以发现，很多都不是简单的对话，还有分类、问答、摘要、翻译、代码生成等等，因此，ChatGPT实际是对若干任务同时进行了微调；另一方面，可能当基础模型足够大之后，在较小数据上的微调不会对模型产生很大影响，可能仅在基础模型参数空间非常小的邻域中优化，所以不会显著影响基础模型的通用能力。

3. ChatGPT的大范围上下文连续对话能力是如何做到的？

使用ChatGPT时就会发现它一个让人十分惊讶的能力，即使和ChatGPT交互了十多轮，它仍然还记得第一轮的信息，而且能够根据用户意图比较准确地识别省略、指代等细粒度语言现象。这些对我们人来说似乎不算问题，但是在NLP的研究历史中，省略、指代等问题一直是一个难以逾越的挑战。此外，在传统对话系统中，对话轮次多了之后，话题的一致性难以保障。但是，ChatGPT几乎不存在这个问题，即使轮次再多，似乎都可以保持对话主题的一致性和专注度。猜测这个能力可能有三方面的来源。首先，高质量的多轮对话数据是基础和关键，正如Google的LaMDA，OpenAI也采用人工标注的方式构造了大量高质量多轮对话数据，在此之上进行的微调将会激发模型的多轮对话能力。其次，基于人类反馈的强化学习因为提升了模型回复的拟人性，也会间接增强模型多轮对话的一致性能力。最后，模型对8192个语言单元（Token）的显式建模能力使其几乎可以记忆普通人一整天的对话数据，在一次对话交流中很难超出这个长度，因此，所有对话历史都已经被有效记忆，从而可以显著提升连续多轮对话的能力。

4. ChatGPT的交互修正能力是如何炼成的？