UnicodeEncodeError：在 UTF-8 语言环境中打印时，“ascii”编解码器无法对字符“\xe9”进行编码

我正在清理 Europarl 的法语单语语料库（http://data.statmt.org/wmt19/translation-task/fr-de/monolingual/europarl-v7.fr.gz http://data.statmt.org/wmt19/translation-task/fr-de/monolingual/europarl-v7.fr.gz）。原始原始数据在.gz文件（我使用下载wget）。我想提取文本并查看它的外观，以便进一步处理语料库。

使用以下代码提取文本gzip，我获得了该类的数据bytes.

with gzip.open(file_path, 'rb') as f_in:
    print('type(f_in)=', type(f_in))
    text = f_in.read()
    print('type(text)=', type(text))

第一行几行的打印结果如下：

类型(f_in) = 类 'gzip.GzipFile'

类型（文本）= 类“字节”

b'Reprise de la session\nJe d\xc3\xa9clare reprise la session du Parlement europ\xc3\xa9en qui avait \xc3\xa9t\xc3\xa9 interrompue le vendredi 17 d\xc3\xa9cembre dernier et je vous renouvelle tous mes vux esp\xc3\xa9rant que vous avez pass\xc3\xa9 de bonnes vacances.\nComme vous avez pu le constater, le grand "bogue de l\'an 2000" ne s\'est pas produit.\n

我尝试使用解码二进制数据utf8 and ascii使用以下代码：

with gzip.open(file_path, 'rb') as f_in:
    print('type(f_in)=', type(f_in))
    text = f_in.read().decode('utf8')
    print('type(text)=', type(text))

它返回这样的错误：

UnicodeEncodeError：“ascii”编解码器无法对位置 26 中的字符“\xe9”进行编码：序号不在范围内（128）

我也尝试过使用codecs and unicodedata包打开文件，但它也返回编码错误。

您能否帮我解释一下我应该做什么才能以正确的格式获取法语文本，例如这样？

重开会议\n我宣布重开欧洲议会会议，并于 12 月 17 日开始对卖方进行插话，我们将重新开始，以敏锐的洞察力来度过美好的假期。\n祝您一切顺利，伟大的“ bogue de l'an 2000" 不是产品。\n

非常感谢您的帮助！

发生 UnicodeEncodeError 的原因是，在打印时，Python 将字符串编码为字节，但在本例中，所使用的编码 - ASCII - 没有与 '\xe9' 匹配的字符，因此会引发错误。

设置Python编码 https://docs.python.org/3.5/using/cmdline.html#envvar-PYTHONIOENCODING环境变量强制Python使用不同的编码——环境变量的值。 UTF-8编码可以对任何字符进行编码，因此像这样调用程序可以解决问题：

PYTHONIOENCODING=UTF-8 python3  europarl_extractor.py

假设代码是这样的：

import gzip

if __name__ == '__main__':
    with gzip.open('europarl-v7.fr.gz', 'rb') as f_in:
        bs = f_in.read()
        txt = bs.decode('utf-8')
        print(txt[:100])

环境变量可以通过其他方式设置 - 通过export声明，在.bashrc, .profile etc.

一个有趣的问题是whyPython 正在尝试将输出编码为 ASCII。我曾假设在 *nix 系统上，Python 本质上是查看$LANG环境变量来确定要使用的编码。但在这种情况下的值$LANG is fr_FR.UTF-8，但 Python 使用 ASCII 作为输出编码。

从看source https://github.com/python/cpython/blob/3.5/Lib/locale.py为了locale模块，以及这个FAQ https://www.cl.cam.ac.uk/~mgk25/unicode.html#activate，按顺序检查这些环境变量：

'LC_ALL', 'LC_CTYPE', 'LANG', 'LANGUAGE'

所以这可能是其中之一LC_ALL or LC_CTYPE已设置为在您的环境中强制使用 ASCII 编码的值（您可以通过运行locale终端中的命令；也在运行locale charmap会告诉你编码本身）。