在 pandas 中加载带有二进制数据的 CSV 文件

我正在尝试解析 CSV 文件（来自外部数据源），其中其中一列使用不一致的字符编码。我不想尝试让数据提供者使用一致的编码，而是只想将该列读取为二进制数据。然而，pandas.read_csv似乎在解析之前将整个文件解码为字符串，所以这给了我错误（UnicodeDecodeError）。这是一个玩具示例（python 3）：

>>> from io import BytesIO
>>> import pandas as pd
>>> csv = b'Encoding,Data\nascii,abc\nwindows-1252,\xae\nutf-8,\xe2\x80\x9c1\xe2\x80\x9d\n'
>>> pd.read_csv(BytesIO(csv))
Traceback (most recent call last):
  File "pandas/_libs/parsers.pyx", line 1130, in pandas._libs.parsers.TextReader._convert_tokens
  File "pandas/_libs/parsers.pyx", line 1254, in pandas._libs.parsers.TextReader._convert_with_dtype
  File "pandas/_libs/parsers.pyx", line 1269, in pandas._libs.parsers.TextReader._string_convert
  File "pandas/_libs/parsers.pyx", line 1459, in pandas._libs.parsers._string_box_utf8
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xae in position 0: invalid start byte

我想要一个与此等效的结果：

>>> df = pd.DataFrame({'Encoding': ['ascii','windows-1252','utf-8'],
...                    'Data': [b'abc',b'\xae',b'\xe2\x80\x9c1\xe2\x80\x9d']})
>>> df
       Encoding                          Data
0         ascii                        b'abc'
1  windows-1252                       b'\xae'
2         utf-8  b'\xe2\x80\x9c1\xe2\x80\x9d'

可以（在这个玩具示例中）进一步处理如下：

>>> df.apply(lambda row: str(row.Data,row.Encoding), axis=1)
0    abc
1      ®
2    “1”
dtype: object

我更喜欢仅使用 pandas 的解决方案，但如果绝对必要，我愿意查看其他解析库。

根据塞尔吉·巴莱斯塔 https://stackoverflow.com/users/3545273/serge-ballesta回答这个帖子 https://stackoverflow.com/a/51763708/12874927

“Pandas 允许指定编码，但不允许忽略错误，不允许自动替换有问题的字节。所以没有一刀切方法，但根据实际用例有不同的方法。”

1. 首先，尝试使用Latin1编码，因为它接受任何可能的字节作为输入，并且根据您的用例可能就足够了（我可以使用这个来运行您的玩具示例）：

   data_frame = pd.read_csv(BytesIO(csv), encoding="latin1"))
   

2. 正如 Serge 的回答中所指出的：“Pandas 没有提供特殊的错误处理，但 Pythonopen函数有（假设Python3），并且read_csv接受类似对象的文件。”对于您的情况，您可能会考虑使用'backslashreplace'它用 Python 反斜杠转义序列替换有问题的字节：

   file_encoding = 'utf8'        # set file_encoding to the file encoding (utf8, latin1, etc.)
   with open(path_to_csv, encoding=file_encoding, errors = 'backslashreplace') as my_csv:
     dataframe = pd.read_csv(my_csv)