MFCC Python：librosa、python_speech_features、tensorflow.signal 的结果完全不同

我正在尝试从音频（.wav 文件）中提取 MFCC 特征，并且我已经尝试过python_speech_features and librosa但他们给出了完全不同的结果：

audio, sr = librosa.load(file, sr=None)

# librosa
hop_length = int(sr/100)
n_fft = int(sr/40)
features_librosa = librosa.feature.mfcc(audio, sr, n_mfcc=13, hop_length=hop_length, n_fft=n_fft)

# psf
features_psf = mfcc(audio, sr, numcep=13, winlen=0.025, winstep=0.01)

下面是图：

librosa:

python_speech_features:

我是否为这两种方法传递了错误的参数？为什么这里会有这么大的差异呢？

Update:我也尝试过tensorflow.signal实现，结果如下：

该图本身更接近 librosa 中的图，但比例更接近 python_speech_features。 （请注意，这里我计算了 80 个梅尔 bin，并取了前 13 个；如果我仅使用 13 个 bin 进行计算，结果看起来也完全不同）。代码如下：

stfts = tf.signal.stft(audio, frame_length=n_fft, frame_step=hop_length, fft_length=512)
spectrograms = tf.abs(stfts)

num_spectrogram_bins = stfts.shape[-1]
lower_edge_hertz, upper_edge_hertz, num_mel_bins = 80.0, 7600.0, 80
linear_to_mel_weight_matrix = tf.signal.linear_to_mel_weight_matrix(
    num_mel_bins, num_spectrogram_bins, sr, lower_edge_hertz, upper_edge_hertz)
mel_spectrograms = tf.tensordot(spectrograms, linear_to_mel_weight_matrix, 1)
mel_spectrograms.set_shape(spectrograms.shape[:-1].concatenate(linear_to_mel_weight_matrix.shape[-1:]))

log_mel_spectrograms = tf.math.log(mel_spectrograms + 1e-6)
features_tf = tf.signal.mfccs_from_log_mel_spectrograms(log_mel_spectrograms)[..., :13]
features_tf = np.array(features_tf).T

我想我的问题是：哪个输出更接近 MFCC 的实际情况？

这里至少有两个因素在起作用，可以解释为什么会得到不同的结果：

1. 梅尔等级没有单一的定义。Librosa实现方式有两种：Slaney https://engineering.purdue.edu/~malcolm/interval/1998-010/ and HTK http://htk.eng.cam.ac.uk/。其他包可能会并且will使用不同的定义，会导致不同的结果。话虽这么说，总体情况应该是相似的。这引出了我们的第二个问题......
2. python_speech_features默认情况下将能量作为第一个（索引零）系数（appendEnergy is True默认情况下），这意味着当您要求例如13 MFCC，您实际上得到 12 + 1。

换句话说，你没有比较 13librosa vs 13 python_speech_features系数，而是 13 与 12。能量可以具有不同的量值，因此由于不同的色阶而产生完全不同的图像。

我现在将演示这两个模块如何产生相似的结果：

import librosa
import python_speech_features
import matplotlib.pyplot as plt
from scipy.signal.windows import hann
import seaborn as sns

n_mfcc = 13
n_mels = 40
n_fft = 512 
hop_length = 160
fmin = 0
fmax = None
sr = 16000
y, sr = librosa.load(librosa.util.example_audio_file(), sr=sr, duration=5,offset=30)

mfcc_librosa = librosa.feature.mfcc(y=y, sr=sr, n_fft=n_fft,
                                    n_mfcc=n_mfcc, n_mels=n_mels,
                                    hop_length=hop_length,
                                    fmin=fmin, fmax=fmax, htk=False)

mfcc_speech = python_speech_features.mfcc(signal=y, samplerate=sr, winlen=n_fft / sr, winstep=hop_length / sr,
                                          numcep=n_mfcc, nfilt=n_mels, nfft=n_fft, lowfreq=fmin, highfreq=fmax,
                                          preemph=0.0, ceplifter=0, appendEnergy=False, winfunc=hann)

正如您所看到的，比例不同，但整体图片看起来非常相似。请注意，我必须确保传递给模块的许多参数是相同的。