| 模型 |
发布时间 |
参数量 |
预训练数据量 |
训练逻辑 |
数据集 |
为了解决的问题 |
最终性能 |
| GPT |
2018 年 6 月 |
1.17 亿 |
约 5GB |
无监督学习，是先通过在无标签的数据上学习一个生成式的语言模型，然后再根据特定热任务进行有监督的微调 |
BooksCorpus的数据集，这个数据集包含 7,000 本没有发布的书籍。作者选这个数据集的原因有二：1. 数据集拥有更长的上下文依赖关系，使得模型能学得更长期的依赖关系；2. 这些书籍因为没有发布，所以很难在下游数据集上见到，更能验证模型的泛化能力。 |
1.监督学习需要大量的标注数据，高质量的标注数据往往很难获得，所以使用无监督的无标签的数据进行第一步的学习 2.根据一个任务训练的模型很难泛化到其它任务中，具有任务输入变换能力 |
GPT-1在未经微调的任务上虽然也有一定效果，但是其泛化能力远远低于经过微调的有监督任务，说明了GPT-1只是一个简单的领域专家，而非通用的语言学家。 |
| GPT-2 |
2019 年 2 月 |
15 亿 |
40GB |
多任务学习，旨在训练一个泛化能力更强的词向量模型，它并没有对GPT-1的网络进行过多的结构的创新与设计，只是使用了更多的网络参数和更大的数据集 |
取自于Reddit上高赞的文章，命名为WebText。数据集共有约800万篇文章，累计体积约40G。 |
GPT-2的学习目标是使用无监督的预训练模型做有监督的任务。作者认为，当一个语言模型的容量足够大时，它就足以覆盖所有的有监督任务，也就是说所有的有监督学习都是无监督语言模型的一个子集 |
GPT-2表明随着模型容量和数据量的增大，其潜能还有进一步开发的空间，因此也诞生了GPT-3 |
| GPT-3 |
2020 年 5 月 |
1,750 亿 |
45TB |
海量参数，海量数据 in-context learning（情境学习） |
|
除了几个常见的NLP任务，GPT-3还在很多非常困难的任务上也有惊艳的表现，例如撰写人类难以判别的文章，甚至编写SQL查询语句，React或者JavaScript代码等。而这些强大能力的能力则依赖于GPT-3疯狂的 1,750 亿的参数量， 45 TB的训练数据以及高达 1,200 万美元的训练费用。 |
GPT系列从1到3，通通采用的是transformer架构，可以说模型结构并没有创新性的设计。GPT-3的本质还是通过海量的参数学习海量的数据，然后依赖transformer强大的拟合能力使得模型能够收敛。
在微软的资金支持下，这更像是一场炫富：1750亿的参数，31个分工明确的作者，超强算力的计算机（ 285,000 个CPU， 10,000 个GPU），1200万的训练费用，45TB的训练数据。当然现在利用GPT-3的API构建的各个应用程序也是很多, 各种好玩的demo gpt-3-apps API(2021年3月）
GPT-3可以完成一些令人感到惊喜的任务，但是GPT-3也不是万能的，对于一些明显不在这个分布或者和这个分布有冲突的任务来说，GPT-3还是无能为力的。例如通过目前的测试来看，GPT-3还有很多缺点的:
所以，针对这些问题，就会继续发展后续的模型。
我们使用来自人类反馈的强化学习(RLHF)来训练这个模型，使用的方法与InstructGPT相同但数据收集设置略有不同。
可以看一下InstructGPT与GPT-3的差异
引入“人工标注数据+强化学习”（RLHF，Reinforcement Learning from Human Feedback ，这里的人工反馈其实就是人工标注数据（高质量的数据集）来不断Fine-tune预训练语言模型，主要目的是让LLM模型学会理解人类的命令指令的含义（比如给我写一段小作文生成类问题、知识回答类问题、头脑风暴类问题等不同类型的命令），以及让LLM学会判断对于给定的prompt输入指令（用户的问题），什么样的答案是优质的（富含信息、内容丰富、对用户有帮助、无害、不包含歧视信息等多种标准）。
尽管官方对于ChatGPT的能力描述很简单，但是从实际大家使用的期刊来看，这个系统可以做的事情远超大家想象。这里我们会列举目前收集的ChatGPT的使用案例，供大家参考。
| 案例名称 |
案例来源 |
| 生成AI Prompt |
|
| 编写iOS SwiftUI APP |
|
| 学习技术 |
|
| 写出一个可以生成小鸟图片的Python脚本 |
|
| 写Javascript脚本 |
|
| 参与SAT考试 |
|
| 自然语言转成Latex |
|
| 解释代码 |
|
| 改写故事 |
https://twitter.com/raphaelmilliere/status/1598469100535259136 |
| debugging代码 |
|
| 写计算机网络家庭作业 |
|
| 替代搜索引擎 |
|
| 创作短剧 |
|
| 创作食谱 |
|
| 反编译汇编代码 |
|
| 代写办公邮件 |
|
| 写年度总结报告 |
|
| 闲聊 |
|
| 撰写技术博客 |
|
| 逻辑推理问题 |
尽管ChatGPT还存在上述局限，但在我的体验过程中，ChatGPT表现出的理解力和回复的准确度远超我的预计，让我直呼“牛逼”。如果ChatGPT正式开放出来，很有可能将是：“外事不决问谷歌，内事不决问百度，代码不会问ChatGPT”的格局。
目前ChatGPT还没联网，一旦它连上网络，可以从互联网获取更多知识和信息（有很多文章在设计他与搜索引擎相结合的模式，设想当API开放之时，很快就会有相关的产品面世...），ChatGPT的潜力将得到更大的释放，甚至达到令人恐怖的程度。我相信这一天离我们不会很远！
业界标杆CodeX （OpenAI） -> 收费产品： GitHub Copilot
AlphaCode（Google Deep Mind）
CodeGen（salesforce）
各个模型的性能对比：
代码比自然语言的编解码有相同之处，也更容易去编码，更容易理解，因为相对来说，结构化更明确，就是很好理解的一个例子就是英文的语义理解是远比中文要简单的。
抽象语法树（abstract syntax code，AST）是源代码的抽象语法结构的树状表示，树上的每个节点都表示源代码中的一种结构。
可以把其理解为是概率统计模型，预测后代码是什么。难点：但是有时候又不能只依赖于前面几个token，可能是要看整个句子，甚至是最一开始定义的变量。
代码补全
数据增强方法
有一些好的声音：“一人一model，效率大大提升” 如何不被 OpenAI 取代？
也有一些不好的声音：“ChatGPT产生的答案有很高的错误率“主要问题是，虽然ChatGPT产生的答案有很高的错误率，但它们往往第一眼看起来可能是对的，而且使用人工智能导致答案非常容易生成。我们需要减少这些内容。目前在Stack Overflow上使用ChatGPT创建帖子的行为已经被禁止。如果用户在此临时规定发布后使用了ChatGPT，将会受到制裁。”Stack Overflow的运营人员表示。”
仅代表个人观点：ChatGPT绝对是一个现象级的产品，发布不到10天超100W的用户量，是比Stable Diffusion 更有竞争力的一个模型和研究趋势。让更多的人愿意用很低的成本去完成一些工作，且OPENAI他们一直知道现有模型的一些缺陷和问题，可以从一个个迭代的模型和一些功能来看，他们也会一直在尝试优化和规避之前存在的一些问题。
训练AI，就像教育孩子一样，不能因为他们在小学的年龄无法参与高校竞赛或者世界会议就把他们封闭起来，我们往往会继续让他们参与更高难度的学习，指引他们去完成看似正确的事。
reference：
