KL-distance是用来计算两组离散数值的信息量（相对熵）的，一般针对的是离散数据。可以用来做特征筛选。但如果是连续数据，则先要离散化求每个bin内的frequency后再计算KL-distance。
那么具体用matlab或者R都可以实现KL-distance的计算。R中有entropy的包，不再介绍。这里重点说明用matlab如何计算KL-distance。
参考资料：
这个帖子里面提供了一个KLDiv.m的代码，但是输入得是已经求好概率或者frequency的数据。
经过测试，可以使用，但是我没有看懂它的计算方法，测试后的结果都是0，放弃。
这个帖子中作者粘贴了一个更加详细的code，尚未测试。
在stackoverflow上有一些相关的帖子，其中这个人问如何由两个histogram数据中（只有bin和每个bin里面的count）计算KL-distance，这个跟我的要求最相近。
因此，决定参考上述（1）（2）（3）中的代码自己写一个从连续值做histogram，然后利用每个bin的frequency求KL-distance的代码，如下所示：
function dist=KLDiv_v2(P,Q)
if size(P,2)~=size(Q,2)
error('the number of columns in P and Q should be the same');
end
if sum(~isfinite(P(:))) + sum(~isfinite(Q(:)))
error('the inputs contain non-finite values!')
end
dist = zeros(size(P));
%# create an index of the "good" data points
goodIdx = P>0 & Q>0; %# bin counts <0 are not good, either
d1 = sum(P(goodIdx) .* log(P(goodIdx) ./Q(goodIdx)));
d2 = sum(Q(goodIdx) .* log(Q(goodIdx) ./P(goodIdx)));
%# overwrite d only where we have actual data
%# the rest remains zero
dist(goodIdx) = d1 + d2;
end
