关于ChatGPT八个技术问题的猜想-张家俊(4)

7. ChatGPT能否解决事实可靠性问题？

答案缺乏可靠性是目前ChatGPT面临的最大挑战。特别是针对事实性和知识性相关的问答，ChatGPT有时候会一本正经地胡编乱造，生成虚假信息。即使让它给出来源和出处或者参考文献，ChatGPT通常也会生成一个不存在的网址或者从未发表过的文献。不过，ChatGPT通常会给用户一种比较好的感觉，也就是很多事实和知识它似乎都知道。实际上，ChatGPT就是一个语言大模型，语言大模型本质就是一种深度神经网络，深度神经网络本质就是一种统计模型，就是从高频数据中习得相关模式。很多常见的知识或事实，在训练数据中出现频率高，上下文之间的模式比较固定，预测的词语概率分布就比较尖锐，熵比较小，大模型容易记住，并在解码过程中输出正确的事实或知识。但是，有很多事件和知识即使在非常庞大的训练数据中也很少出现，大模型便无法学习到相关模式，上下文之间的模式比较松散，词语预测的概率分布比较平滑，熵比较大，大模型在推理过程中容易产生不确定性的随机输出。这是包括ChatGPT在内所有生成式模型的固有问题。如果仍然延续GPT系列架构，基础模型不做改变，从理论上讲是难以解决ChatGPT回复的事实可靠性问题。和搜索引擎的结合目前看是非常务实的一种方案，搜索引擎负责搜索可靠的事实信息来源，ChatGPT负责总结和归纳。如果希望ChatGPT解决事实回答的可靠性问题，可能需要进一步提升模型的拒识能力，也就是过滤掉模型确定无法回答的那些问题，同时还需要事实验证模块来验证ChatGPT回复的正确性。希望下一代GPT能够在这个问题上取得突破。

8. ChatGPT能否实现实时信息的学习？

ChatGPT的交互修正能力使得它看起来似乎拥有了实时的自主学习能力。正如上述讨论，ChatGPT可以依据用户提供的修改意图或者更正信息，立刻修正相关回复，表现出实时学习的能力。实则不然，学习能力体现的是学到的知识是普适的，可以运用在其他时间和其他场合，但是ChatGPT并没有展现出这个能力。ChatGPT只是在当前的对话中能够根据用户反馈进行了修正，当我们重启一个对话，测试相同的问题时，ChatGPT还会犯相同或类似的错误。一个疑问是为何ChatGPT不将修改后正确的信息存储到模型中呢？这里有两方面的问题。首先，用户反馈的信息并不一定是正确的，有时候故意引导ChatGPT做出不合理的回答，只是因为ChatGPT在基于人类反馈的强化学习中加深了对用户的依赖程度，所以ChatGPT在同一个对话过程中会非常相信用户的反馈。其次，即使用户反馈的信息是正确的，但因为可能出现频率不高，基础大模型不能根据低频数据更新参数，否则大模型就会对某些长尾数据进行过拟合从而失去通用性。所以，让ChatGPT实时进行学习非常困难，一种简单直观的方案就是每经过一段时间就利用新的数据微调ChatGPT。或者采用触发机制，当多个用户提交相同或相似反馈时触发模型的参数更新，从而增强模型的动态学习能力。