是否可以构造一个utf-8编解码器无法编码的unicode字符串？

是否可以构造一个 unicode 字符串utf-8编解码器无法编码？

从文档（https://docs.python.org/2/library/codecs.html https://docs.python.org/2/library/codecs.html），看来utf-8编解码器可以用“任何语言”对符号进行编码。该文档还指出编解码器何时只能编码某些字符或只能编码基本多语言平面。我不知道这是否等于说“不可能构造一个unicode无法使用以下方法转换为字节串的值utf-8编解码器”，但是。

这是表条目utf-8 codec.

编解码器别名 目的

utf_8 U8、UTF、utf8 所有语言

这里的动机是我有一个实用程序函数，它接受 unicode 字符串或字节字符串并将其转换为字节字符串。当给定一个字节字符串时，它是一个无操作。这个函数不应该抛出异常，除非它是用非字符串类型调用的，在这种情况下，它应该失败并显示 TypeError，稍后将捕获并记录该错误。 （如果我们尝试插入异常消息的项目的 repr 太大，我们仍然会遇到问题，但现在让我们忽略它）。

我正在使用strict设置，因为我希望这个函数在遇到无法编码的 unicode 对象时抛出异常，但我希望这是不可能的。

def utf8_to_bytes(item):
    """take a bytes or unicode object and convert it to bytes,
    using utf-8 if necessary"""
    if isinstance(item, bytes):
        return item
    elif isinstance(item, unicode):
        return codecs.encode(item, 'utf-8', 'strict')
    else:
        raise TypeError("item must be bytes or unicode. got %r" % type(item))

UTF-8 旨在对所有 Unicode 标准进行编码。将 Unicode 文本编码为 UTF-8 通常不会引发异常。

来自关于编解码器的维基百科文章 https://en.wikipedia.org/wiki/UTF-8:

UTF-8 是一种字符编码，能够对 Unicode 定义的所有可能的字符或代码点进行编码

据我所知，Python 2 UTF-8 编码没有边缘情况；非 BMP 数据和代理对的处理方式相同：

>>> import sys
>>> hex(sys.maxunicode)  # a narrow UCS-2 build
'0xffff'
>>> len(u'\U0001F525')
2
>>> u'\U0001F525'.encode('utf-8')
'\xf0\x9f\x94\xa5'
>>> u'\ud83d\udd25'
u'\U0001f525'
>>> len(u'\ud83d\udd25')
2
>>> u'\ud83d\udd25'.encode('utf-8')
'\xf0\x9f\x94\xa5'

注意strict是默认的编码模式。您不需要使用codecs模块也可以，只需使用encode方法上的unicode object:

return item.encode('utf-8')

在Python 3中，情况稍微复杂一些。解码和编码代理对 https://en.wikipedia.org/wiki/UTF-16#U.2BD800_to_U.2BDFFF受到限制；官方标准规定此类字符只能出现在 UTF-16 编码数据中，并且只能出现在低位和高位对中。

因此，您需要明确声明您希望支持此类代码点surrogatepass错误处理程序 https://docs.python.org/3/library/codecs.html#error-handlers:

允许代理代码的编码和解码。这些编解码器通常将代理的存在视为错误。

之间唯一的区别surrogatepass and strict就是它surrogatepass将允许您将 Unicode 文本中的任何代理代码点编码为 UTF-8。您只会在极少数情况下获得此类数据（定义为文字，或者意外地将此类代码点保留在 UTF-16 中不配对，然后使用surrogatepass).

所以，在 Python 3 中，仅当您有机会使用 Unicode 文本生成时surrogatepass解码或从文字数据，你需要使用item.encode('utf8', 'surrogatepass')绝对确定所有可能的 Unicode 值都可以被编码。