我有大量的文件和解析器。我要做的就是去掉所有非 utf-8 符号并将数据放入 mongodb 中。
目前我有这样的代码。
with open(fname, "r") as fp:
for line in fp:
line = line.strip()
line = line.decode('utf-8', 'ignore')
line = line.encode('utf-8', 'ignore')
不知何故我仍然收到错误
bson.errors.InvalidStringData: strings in documents must be valid UTF-8:
1/b62010montecassianomcir\xe2\x86\x90ta0\xe2\x86\x90008923304320733/290066010401040101506055soccorin
我不明白。有一些简单的方法可以做到吗?
UPD:似乎 Python 和 Mongo 不同意 Utf-8 有效字符串的定义。
尝试下面的代码行而不是最后两行。希望能帮助到你:
line=line.decode('utf-8','ignore').encode("utf-8")
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)