是的,如果您必须比较多个文件并存储哈希值以供以后比较,我认为对文件进行哈希处理将是最好的方法。由于哈希可能会发生冲突,因此可以根据用例进行逐字节比较。
一般来说,逐字节比较就足够且有效了,这filecmp
模块已经做了+其他事情。
See http://docs.python.org/library/filecmp.html
e.g.
>>> import filecmp
>>> filecmp.cmp('file1.txt', 'file1.txt')
True
>>> filecmp.cmp('file1.txt', 'file2.txt')
False
请注意,默认情况下,filecmp
不比较文件的内容,为此,添加第三个参数shallow=False
.
速度考虑:通常,如果只需要比较两个文件,那么如果高效地完成,则对它们进行散列并比较它们会比简单的逐字节比较更慢。例如下面的代码尝试对哈希值与逐字节进行计时
免责声明:这不是计时或比较两种算法的最佳方式。并且需要改进,但它确实给出了粗略的想法。如果您认为应该改进,请告诉我,我会更改它。
import random
import string
import hashlib
import time
def getRandText(N):
return "".join([random.choice(string.printable) for i in xrange(N)])
N=1000000
randText1 = getRandText(N)
randText2 = getRandText(N)
def cmpHash(text1, text2):
hash1 = hashlib.md5()
hash1.update(text1)
hash1 = hash1.hexdigest()
hash2 = hashlib.md5()
hash2.update(text2)
hash2 = hash2.hexdigest()
return hash1 == hash2
def cmpByteByByte(text1, text2):
return text1 == text2
for cmpFunc in (cmpHash, cmpByteByByte):
st = time.time()
for i in range(10):
cmpFunc(randText1, randText2)
print cmpFunc.func_name,time.time()-st
输出是
cmpHash 0.234999895096
cmpByteByByte 0.0