关于ChatGPT八个技术问题的猜想-张家俊

看到ChatGPT的华丽诞生，心情很复杂，既高兴、惊喜，也感到恐慌，高兴和惊喜的是没有预料到这么快就见证了自然语言处理（NLP）技术的重大突破，体验到通用技术的无限魅力。恐慌的是ChatGPT几乎可以高质量地完成NLP中的大多数任务，逐渐认识到很多NLP的研究方向遇到了极大挑战。

总体而言，ChatGPT最令人非常惊艳的是它的通用性，相比于GPT-3需要通过设计非常精巧的提示来实现效果并不太好的各种NLP能力，ChatGPT已经让用户感受不到提示的存在。作为一个对话系统，ChatGPT让用户自然提问便可实现从理解到生成的各种任务，而且性能在开放领域几乎都达到了当前最佳水平，很多任务超越了针对特定任务单独设计的模型，并且在代码编程领域表现卓越。具体而言，自然语言理解能力（尤其是用户意图理解能力）十分突出，无论是问答、聊天、分类、摘要、翻译等任务，尽管回复不一定完全正确，但是几乎都能够领会用户意图，理解能力远超预期。相比于理解能力，ChatGPT的生成能力更加强大，可以针对各种问题生成具有一定逻辑且多样化的长文本。总的来说，ChatGPT表现出的更多是惊艳，是通向AGI的初步阶段，一些技术瓶颈解决后会更加强大。

对于ChatGPT表现案例的总结已经非常多了，这里主要总结一下自己对ChatGPT技术问题的一些思考，算是与ChatGPT断断续续交互两个多月的一个简单总结。由于无法了解ChatGPT的具体实现技术和细节，所以几乎都是主观猜想，肯定有很多不对的地方，欢迎一起探讨。

1. ChatGPT的通用性为何做得如此之好？

只要使用过ChatGPT，我们就会发现它不是一个传统意义上的人机对话系统，实际是一个以自然语言为交互方式的通用语言处理平台。2020年的GPT-3虽然拥有了通用能力的雏形，但是需要精心设计提示语来触发相应功能，而ChatGPT允许用户采用非常自然的提问就可以准确识别意图完成各种功能。传统方法往往先进行用户意图识别，再针对不同意图调用相应功能的处理模块，例如通过用户数据识别出摘要或翻译意图，再调用文本摘要或机器翻译模型。传统方法在开放域的意图识别准确率不够理想，而且不同功能模块各自为战无法共享信息，难以形成强大的NLP通用平台。ChatGPT突破了各自为战的模式，不再区分不同功能，统一认为是对话过程中的一种特定需求。那么，ChatGPT的通用性为何做得如此之好呢？一直在思考这个问题，由于没有条件实验证实，所以仅能猜想。根据Google的Instruction Tuning研究工作FLAN，当模型达到一定规模（e.g. 68B）且Instruction任务的类型达到一定数目（e.g. 40），模型就涌现出对新意图的识别能力。OpenAI从其开放的API中收集了全球用户各种任务类型的对话数据，根据意图分类和标注，然后在175B参数GPT-3.5上进行Instruction Tuning，自然就涌现出了通用的意图识别能力。