保存到 hdf5 非常慢（Python 冻结）

我正在尝试将瓶颈值保存到新创建的 hdf5 文件中。 瓶颈值呈批量形状(120,10,10, 2048)。 单独保存一个批次就占用了超过 16 个千兆字节，而 Python 似乎在该批次上冻结了。根据最近的发现（请参阅更新，似乎 hdf5 占用大内存是可以的，但冻结部分似乎是一个小故障。

我只是想拯救第一个2批次用于测试目的，并且仅 训练数据集（再次，这是一个测试运行），但我什至无法通过第一批。它只是在第一批中停止，并且不会循环到下一次迭代。如果我尝试检查 hdf5，资源管理器将变得缓慢，Python 将冻结。如果我尝试终止 Python（即使不检查 hdf5 文件），Python 也不会正确关闭，并且会强制重新启动。

以下是相关代码和数据：

总数据点约为 90,000 个左右，分 120 个批次发布。

Bottleneck shape is (120,10,10,2048)

所以我要保存的第一批是(120,10,10,2048)

以下是我尝试保存数据集的方法：

with h5py.File(hdf5_path, mode='w') as hdf5:
                hdf5.create_dataset("train_bottle", train_shape, np.float32)
                hdf5.create_dataset("train_labels", (len(train.filenames), params['bottle_labels']),np.uint8)
                hdf5.create_dataset("validation_bottle", validation_shape, np.float32)
                hdf5.create_dataset("validation_labels",
                                              (len(valid.filenames),params['bottle_labels']),np.uint8)



 #this first part above works fine

                current_iteration = 0
                print('created_datasets')
                for x, y in train:

                    number_of_examples = len(train.filenames) # number of images
                    prediction = model.predict(x)
                    labels = y
                    print(prediction.shape) # (120,10,10,2048)
                    print(y.shape) # (120, 12)
                    print('start',current_iteration*params['batch_size']) # 0
                    print('end',(current_iteration+1) * params['batch_size']) # 120

                    hdf5["train_bottle"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = prediction
                    hdf5["train_labels"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = labels
                    current_iteration += 1
                    print(current_iteration)
                    if current_iteration == 3:
                       break

这是打印语句的输出：

(90827, 10, 10, 2048) # print(train_shape)

(6831, 10, 10, 2048)  # print(validation_shape)
created_datasets
(120, 10, 10, 2048)  # print(prediction.shape)
(120, 12)           #label.shape
start 0             #start of batch
end 120             #end of batch

# Just stalls here instead of printing `print(current_iteration)`

它只是在这里停滞一段时间（20 分钟以上），并且 hdf5 文件的大小缓慢增长（现在大约 20 GB，在我强行杀死之前）。实际上，我什至无法使用任务管理器强制杀死，我必须重新启动操作系统，才能在这种情况下真正杀死Python。

Update

在玩了一下我的代码后，似乎有一个奇怪的错误/行为。

相关部分在这里：

          hdf5["train_bottle"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = prediction
                hdf5["train_labels"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = labels

如果我运行其中任何一行，我的脚本将进行迭代，并按预期自动中断。因此，如果我运行“非此即彼”，则不会冻结。它发生得也相当快——不到一分钟。

如果我运行第一行('train_bottle')，我的内存占用了大约 69-72 gig，即使只是几个批次。如果我尝试更多批次，内存是相同的。所以我假设train_bottle根据我分配数据集的大小参数决定存储，而不是实际上当它被填充时。 因此，尽管有 72 场演出，但它的运行速度相当快（一分钟）。

如果我运行第二行，train_labels，我的内存占用了几兆。 迭代没有问题，执行break语句。

然而，现在问题是，如果我尝试运行这两行（在我的情况下这是必要的，因为我需要保存“train_bottle”和“train_labels”），我在第一次迭代时遇到冻结，并且它即使在 20 分钟后，也不会继续进行第二次迭代。 Hdf5 文件正在缓慢增长，但如果我尝试访问它，Windows 资源管理器会慢如蜗牛，而且我无法关闭 Python - 我必须重新启动操作系统。

所以我不确定尝试运行两条线时出现什么问题——就好像我运行内存很饿一样train_data线路，如果工作正常并在一分钟内结束。

将数据写入HDF5

如果您写入分块数据集而不指定分块形状，h5py 将自动为您执行此操作。由于 h5py 无法知道如何从数据集中写入或读取数据，因此这通常会导致性能不佳。

您还可以使用默认的 chunk-cache-size 1 MB。如果您只写入块的一部分，并且该块不适合缓存（这很可能是 1MP 块缓存大小），则整个块将在内存中读取、修改并写回磁盘。如果这种情况发生多次，您将看到性能远远超出 HDD/SSD 的顺序 IO 速度。

在下面的示例中，我假设您仅沿着第一个维度进行读取或写入。如果不是，则必须根据您的需要进行修改。

import numpy as np
import tables #register blosc
import h5py as h5
import h5py_cache as h5c
import time

batch_size=120
train_shape=(90827, 10, 10, 2048)
hdf5_path='Test.h5'
# As we are writing whole chunks here this isn't realy needed,
# if you forget to set a large enough chunk-cache-size when not writing or reading 
# whole chunks, the performance will be extremely bad. (chunks can only be read or written as a whole)
f = h5c.File(hdf5_path, 'w',chunk_cache_mem_size=1024**2*200) #200 MB cache size
dset_train_bottle = f.create_dataset("train_bottle", shape=train_shape,dtype=np.float32,chunks=(10, 10, 10, 2048),compression=32001,compression_opts=(0, 0, 0, 0, 9, 1, 1), shuffle=False)
prediction=np.array(np.arange(120*10*10*2048),np.float32).reshape(120,10,10,2048)
t1=time.time()
#Testing with 2GB of data
for i in range(20):
    #prediction=np.array(np.arange(120*10*10*2048),np.float32).reshape(120,10,10,2048)
    dset_train_bottle[i*batch_size:(i+1)*batch_size,:,:,:]=prediction

f.close()
print(time.time()-t1)
print("MB/s: " + str(2000/(time.time()-t1)))

Edit循环中的数据创建花费了相当多的时间，因此我在时间测量之前创建数据。

这应该提供至少 900 MBps 的吞吐量（CPU 限制）。使用真实数据和较低的压缩比，您应该可以轻松达到硬盘的顺序 IO 速度。

如果您错误地多次调用此块，则使用 with 语句打开 HDF5 文件也可能导致性能不佳。这将关闭并重新打开文件，删除块缓存。

为了确定正确的块大小，我还建议：https://stackoverflow.com/a/48405220/4045774 https://stackoverflow.com/a/44961222/4045774