论文简介
语义熵的意义
信息熵衡量整个事件空间包含的平均信息量，而语义熵则直接量化信源的语义信息。然而，仍然缺少通用的语义信息度量，并且大多数现有度量都是不可计算的。
信息熵的定义参考： 信息量与信息熵
[引出问题：语义通信成功与否的判断标准，是否有统一的指标衡量？还是说，语义通信正确的判断标准，本就不该基于对语义的量化来进行考核？]
语义熵的定义
该论文认为信源的语义信息取决于具体的任务，语义熵与信源和任务相关。参考Chattopadhyay[1]，该文章将语义熵定义为：
定义1： 给定语义源
X
\mathcal{X}
X ，语义熵定义为 足以预测任务
Y
Y
Y的数据
X
X
X的语义符号的最小预期数量(其中
X
∈
X
X \in \mathcal{X}
X∈X)，即
H
(
X
;
Y
)
≜
min
E
S
E
(
dim
(
Code
E
S
(
X
)
)
)
s.t.
P
(
Y
∣
Code
E
S
(
X
)
)
=
P
(
Y
∣
X
)
,
\begin{aligned} & H(X ; Y) \triangleq \min _{E_{\mathrm{S}}} \mathbb{E}\left(\operatorname{dim}\left(\operatorname{Code}^{E_{\mathrm{S}}}(X)\right)\right) \\ & \text { s.t. } \quad P\left(Y \mid \operatorname{Code}^{E_{\mathrm{S}}}(X)\right)=P(Y \mid X), \end{aligned}
H(X;Y)≜ESminE(dim(CodeES(X))) s.t. P(Y∣CodeES(X))=P(Y∣X),
其中，
C
o
d
e
E
S
(
X
)
{Code}^{E_{\mathrm{S}}}(X)
CodeES(X)表示由语义编码器
E
S
E_S
ES从
X
\mathcal{X}
X中提取的语义符号向量，
P
(
Y
∣
X
)
P(Y |X)
P(Y∣X)是给定
X
X
X时
Y
Y
Y的条件概率。
从定义1来看，给定任务
Y
Y
Y时，
X
X
X的语义熵实际上被定义为整个数据集
X
X
X的期望值，即语义熵对于相同的任务和数据集是一个常数 [不理解]
然而，找到一个最优的
E
S
E_S
ES来推导语义熵是很困难的。为了获得既有意义又可操作的度量，我们利用精心设计的深度学习（DL）模型作为语义编码器来获取任务的近似语义熵，可以表示为：
H
~
(
X
;
Y
)
≜
min
E
(
dim
(
Code
E
D
L
(
X
)
)
)
s.t.
P
(
Y
∣
X
)
−
P
(
Y
∣
Code
E
D
L
(
X
)
)
<
ε
,
\begin{gathered} \quad \tilde{H}(X ; Y) \triangleq \min \mathbb{E}\left(\operatorname{dim}\left(\operatorname{Code}^{E_{\mathrm{DL}}}(X)\right)\right) \\ \text { s.t. } \quad P(Y \mid X)-P\left(Y \mid \operatorname{Code}^{E_{\mathrm{DL}}}(X)\right)<\varepsilon, \end{gathered}
H~(X;Y)≜minE(dim(CodeEDL(X))) s.t. P(Y∣X)−P(Y∣CodeEDL(X))<ε,
其中约束表明
P
(
Y
∣
X
)
P(Y \mid X)
P(Y∣X) 和
P
(
Y
∣
Code
E
D
L
(
X
)
)
P\left(Y \mid \operatorname{Code}^{E_{\mathrm{DL}}}(X)\right)
P(Y∣CodeEDL(X))之间的差距不能超过
ε
\varepsilon
ε。
根据上述方法，可以基于相应的深度学习模型离线导出所考虑任务的近似语义熵。具体来说，我们首先从 DeepSC 和 DeepSC-VQA 中删除通道模型，然后在不同的语义符号数量设置下对它们进行训练 [改变语义编码器中的一个参数来改变语义符号的数量吗？]，最后找到可以保证性能非常接近上限的最小语义符号数量
[1] Quantifying task complexity through generalized information measures
