hdf5 vs cpickle

HDF5加载一个98M的文件用时：0.087s

cPickle加载一个50M的文件用时：7.6s

87倍啊。好厉害的样子。

HDF5加载一个8G的文件用时：52.278s

cPickle加载一个4G的文件用时：643.07s

12.3倍啊。已经很可以了。

还是建议大家用hdf5.

在压缩的时候请大家注意，图片最好选择格式为uint8.否则会很大，例如我的一个文件，用cPcikle 压缩是50M,结果默认的没有选择格式直接压到了99M，但是选择了uint8之后，就一下子压缩到了24M,很厉害呦，哈哈

我的是这样用的：

out_file=h5py.File('E:/temp/%s_%s.h5'% (video_name[3:],event_name) ,'w') out_file.create_dataset('pic',data=sample_container)

import numpy as npimport h5pybegain_t=time.time()file=h5py.File('e:/pure_pos/20071101_E1_CAM1_Pointing.h5','r')data=file['pic'][:]print len(data[1])print '%f'%(time.time()-begain_t)