在 python 中读取具有恶意字节 0xc0 的文件，导致 utf-8 和 ascii 出错

尝试将制表符分隔的文件读入 pandas 数据帧：

>>> df = pd.read_table(fn , na_filter=False, error_bad_lines=False)

它会出错，如下所示：

b'Skipping line 58: expected 11 fields, saw 12\n'
Traceback (most recent call last):
...(many lines)...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 115: invalid start byte

字节 0xc0 似乎在 utf-8 和 ascii 编码中都会造成痛苦。

>>> df = pd.read_table(fn , na_filter=False, error_bad_lines=False, encoding='ascii')
...(many lines)...
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc0 in position 115: ordinal not in range(128)

我也遇到了 csv 模块的阅读器同样的问题。
如果我将文件导入 OpenOffice Calc，它会被正确导入，列会被正确识别等。可能有问题的 0xc0 字节会被忽略。这不是数据等的重要部分，它可能只是生成该文件的系统的侥幸写入错误。如果涉及到这一点，我什至会很乐意砍掉他出现的那条线。我只想将文件读入python程序。这error_bad_lines=Falsepandas 的选项应该可以解决这个问题，但没有骰子。此外，该文件不包含任何非英语脚本内容，这使得 unicode 变得非常必要。都是标准的英文字母和数字。我也尝试过 utf-16 utf-32 等，但它们只会导致更多的错误。

如何使python（特别是pandas Dataframe）读取具有一个或多个流氓字节0xc0字符的文件？

把这个答案移到这里从另一个地方 https://stackoverflow.com/a/49838910/4355695在那里它受到了敌意的接待。

找到一个标准 https://stackoverflow.com/a/27456542/4355695实际上接受（意思是，不会出错）字节 0xc0 ：

encoding="ISO-8859-1"  

注意：这需要确保文件的其余部分没有 unicode 字符。这可能对像我这样的人有帮助，他们的文件中没有任何 unicode 字符，只是想让 python 加载该死的东西，而 utf-8 和 ascii 编码都出错了。

有关 ISO-8859-1 的更多信息：UTF-8 和 ISO-8859-1 有什么区别？ https://stackoverflow.com/q/7048745/4355695

有效的新命令：

>>> df = pd.read_table(fn , na_filter=False, error_bad_lines=False, encoding='ISO-8859-1')

读入后，数据框很好，列、数据都像在 OpenOffice Calc 中一样工作。我还是不知道哪里冒犯了0xc0字节去了，但这并不重要，因为我已经得到了我需要的数据。