(G)ZS-CMR 即（广义）零样本跨模态检索，设置类比（广义）零样本学习 (G)ZSL。
这里记录两种划分，不限 CMR，也可以是 image retrieval。
ZS-CMR
参考 [1]，类比 ZSL。整个数据集先从 class 角度分 seen（S）和 unseen（U）两部分，各自分 query（Q）和 database（D）两个子集，所以共 4 部分：
其中 SD 用来做 training set。测试时分两种：SQ 检索 SD、UQ 检索 UD。
这对于 single-label data 没有疑问，而对于 multi-label data，则其实会有「既 S 且 U」的第 5 部分数据，不属上述 4 种，被直接舍弃，整个 pipeline 都没它的事。
GZS-CMR
参考 [2]，类比 GZSL。划分类似传统 CMR（参考 [3]），整个数据集也是划成 Q 和 D，D 中一个（有标注的）子集（labeled D）作为 training set，剩余的视为无标注数据（unlabeled D）。
主要区别是限制了 training set 包只含纯 S 的数据，而 Q 和 D 中无标注的部分则可以有 S 或 U。
|
Q |
labeled D |
unlabeled D |
| 普通 CMR |
S + U |
S + U |
S + U |
| GZS-CMR |
S + U |
S only |
S + U |
这种 setting 无论 single- 或 multi-label，都不会将 ZS-CMR 那样有被弃用的部分数据。
Comparison
用完全出自 U 的数据（纯 U）测试，可以更直接地体现 knowledge transferring 的效果，即在 ZS-CMR 中用 UQ 和 QD 做的实验。
而在 GZS-CMR 中，最终 performance 有部分是带 S 的数据贡献的，对 transferring 效果的体现不够单纯。此时可以将 Q 和 unlabeled D 中纯 U 的数据抽出来，重新划分 UQ’ 和 UD’ 做测试。
这样做的效果跟 ZS-CMR 中在 U 上的实验应该是等效的：
- training set 同样只包含纯 S 数据，没有带 U 的数据，跟 ZS-CMR 一致；
- 且 Q 和 unlabeled D 包含了所有纯 U 数据，即跟 ZS-CMR 中的 U（也是纯 U）实际上是同一个集合；
- 只要 UQ’ 和 UD’ 跟 ZS-CMR 中的 UQ 和 UD（在数量上）一致，那其实跟 ZS-CMR 在 U 上的实验是一样的；
- 若训练时没有用到 unlabeled D，就是完全一样的。
References
- arXiv 2017 | A new evaluation protocol and benchmarking results for extendable cross-media retrieval
- TIP 2019 | Generalized Zero-Shot Cross-Modal Retrieval
- CVPR 2017 | Deep Cross-Modal Hashing
