预设的知识储备要求：数学（微积分、线性代数、机率）；编程能力（读写python）
这门课专注在 深度学习领域deep learning，
事实上深度学习在今天的整个机器学习（ML）的领域使用非常广泛，可以说是最受重视的一项ML技术。
这门课可以作为你的机器学习的第一堂课，修完后可以更深入的把这个技术，用在你未来感兴趣的领域。
课程录像和作业：
如果 只凭google colab可以取得及格的成绩，基本上如果有越多的运算资源，越有机会在这门课取得比较好的成绩。
要做机器学习、尤其是深度学习相关的任务，运算资源往往是非常重要的。
2022.11.30，被公开
输出机率分布，之后取样
Chat-GPT背后的关键技术：预训练（Pre-train）。又叫督导式学习（Self-supervised Learning）、基石模型（Foundation Model）
一般机器是怎样学习的？ 督导式学习
怎么通过成对资料（督导式学习），机器自动寻找函式f，本课程后面会学习。
但仅仅这样做，能力很有限，因为成对资料非常有限。
ChatGPT的前身GPT，就是单纯从网络上大量资料来学习做文字接龙。
GPT一代没有受到什么关注。
GPT-2可以 说一段话给他，他就开始瞎掰、并且像模像样。这种能力今天看起来很正常，但当时让学界震惊。
测试在CoQA问答资料集上，具备了一定回答问题的能力。
openAI官方说： 拿GPT3做一些微调 都叫GPT3.5，并不是特指某个模型。
GPT3（2020）是来自“暗黑大陆”的模型，因为实在太过巨大。
参数量越高、模型表现越好。
但是GPT3有非常明显的能力上限 。
很多时候GPT3不受控，给的答案不一定是我们想要的。
强化GPT3的能力：人工介入。 -----> 加入督导式学习 ChatGPT
李老师个人猜测，没有用翻译引擎。因为：
multi-Bert也是一个自督导式的预训练模型，在GPT前非常热门的模型。
下面这个实验是测试在DRCD中文阅读能力理解测验资料库上。
在机器心里把所有人类的语言都内化成同一种语言（自己的语言）。
总结： ChatGPT是在自督导式学习/预训练/基石模型的基础上，加入微调（finetune）/督导式学习，再加上RL（ppo算法）。
适用增强式学习的情况，1）想偷懒时，更容易搜集更多资料。2）人类自己都不知道答案时。
很多时候问ChatGPT问题，他给的答案非常棒，不太像在做文字接龙，是因为你问的问题，人类老师都教过了。
如果问一些莫名其妙的问题：
ChatGPT的出现，对自然语言处理相关研究带来蛮大的打击。
未来可能会被重视的研究方向：
需要好好调教他，不然不像在聊天。
需要精确提出需求，（”催眠“，Prompting）：
网络上有很多”调教指南“，都是乡民试出来的，不一定是最好的，未来会有一系列的研究，用更系统化的方法自动找出催眠指令。
李老师 没有把握chatGPT生成的答案的diversity有多大。
这类的工具如果是可以轻易取用的，应该是需要被学习的内容。
chatGPT口风不紧， 可以像小孩一样，绕圈骗他。
不过这个地址是错的😀...
开放世界的文字冒险游戏，不是既定脚本，根本不知道会发生什么。。
Midjourney来生成图，更带感🤭。用这个软件，也需要”咏唱“。（Midjourney需要说英文）
自动pipeline，在chatGPT和Midjourney中间。
google催眠指令一大堆：
RPG感觉：
笑死，玩起来好随便，选项完全没难度，而且很快就结束了。
----GPT社会化的过程
https://chat.openai.com/chat
虽然不是很完美， 有基本的翻译能力，
chatGPT目前只有blog没有论文，
官方blog上chatGPT的训练步骤：
学会文字接龙还可以做什么：参考影片
instructGPT，人工标注的问题和答案只有数万则，
每种问题提供几个范例，告诉他什么样的回答是人类希望得到的。
雇佣人类来标注哪些答案是好的。
训练一个”模仿老师的模型“，模仿人类评分的标注（学习人类偏好）
使用RL技术来调整参数，来得到最高的reward
想找chatGPT的破绽：问一些没用的问题
