好用小工具：
https://lutzroeder.github.io/netron/ 网络架构图可视化工具
liner probe与fine-tune
liner probe
将预训练的模型冻住，只从里面抽特征，就训练最后fc分类头层，做有监督的分类任务。
fine-tune
整个网络都放开，直接做端到端的学习。如果下游数据集比较大，微调比 liner probe 效果好。
- CLIP 是 liner probe，目的就是为了研究这种和数据集无关的预训练方式。
zero shot 与 few shot
zero shot 不训练直接用
few shot 用少量具体任务的样本 fine tune
one shot 每个类别在训练的时候只给模型看一张这种示例图片，two shot 看两张
对比学习和孪生网络的区别
孪生网络要共享权重参数，公用一个网络结构；
但是对比学习两个模型可以一点都不一样，不用共享参数；
伪标签, 自监督都比监督学习利用数据更好
预训练阶段用了对比学习，利用了文本的提示做了 zero shot 的迁移学习，在大规模数据集和大模型的双向加持下，clip的效果不错。
打破了固定种类标签的范式， 不论在收集数据、训练模型的时候都不要像 imagenet 那样做1000类，直接搜集这种图片文本配对，用无监督的方式，
要么预测它的相似性，要么去生成它。
数据集大学习率大，数据集小学习率小，否则可能稍一学习模型就过拟合了。
https://www.bilibili.com/video/BV1nR4y1N7Vj/ ## 请求的域名
? ## ？后面是请求域名所接收的参数
spm_id_from=333.880.my_history.page.click ## 参数1
&
vd_source=dc27cbd311ff3ca278726381630036f0 ## 参数2
