信源即信息发出的源头,在后续的信道模型中,信源发出的信息即视为信道输入的信息。 根据信源发出信息的取值,可将信源分为离散信源和连续信源。 顾名思义,离散信源即发出的信息取值为离散型的信源;连续信源即发出的信息取值为连续型的信源。 离散信源中又根据符号出现的概率是否与前面符号有关分为:离散无记忆信源和离散有记忆信源。
前面已经了解过了自信息的概念。 自信息表示的是某个事件的不确定性。这是具体意义上的。 如果表示的事件从某个具体事件扩大为某个事件集合, 则用熵来表示集合的不确定度。 信源的取值就是一个集合,信源熵则表示信源发出信息(发出符号)的不确定度。 (信源)熵单位: bit/sig,nat/sig,hart/sig 要注意的是,信源熵表示的是某个信源X的平均不确定性,表示的是平均每个信源符号所携带的信息量。则一旦给定信源,则其信源熵也即确定下来。 解决问题是要注意,要求解的是某个具体的消息序列每个符号携带的平均信息量,还是某个信源发出的每个符号携带的平均信息量。前者是先取得具体消息序列的信息量然后除以符号数目;后者使用信源熵公式可以求得。 比如: 第(1)问求的是题设给定消息,也即具体序列,中平均每符号携带的信息量。 需先求得该消息序列的自信息 I ,然后再除以符号数目,得到所求结果。 第(2)问求的是信源中平均没符号携带的信息量。将题设概率空间代入信源熵公式中即可求得。 求信源熵的过程如下例所示:
单个符号的离散无记忆信源,如果进行二次扩展,得到二次扩展信源,则其熵为两个相同单个符号DMS的联合熵。 二次扩展信源发出的序列元素都属于原信源。根据排列组合的理论可知,若原信源的符号集合有a个元素,则二次扩展信源的序列集合有a^2个元素。 示例如下: 将其推广,将单个符号的DMS进行N次扩展,可得到N次扩展信源。 若原信源的符号集合有q个元素,则N次扩展信源的序列集合有q^N个元素。
条件熵的定义式中,对数内部用的是条件概率,这很容易理解。对条件概率取倒再取对数,这是求自信息的标准过程。求得的自信息表示的是发出符号b后发出符号a的不确定性。 按照熵的定义,熵等于概率取倒再取对数的值乘以对应概率。 但是对数之外与其相乘的是联合概率。 条件熵多应用于如下离散有记忆信源的计算中。 平稳信源是指符号与时间起点无关的信源。