美丽的汤和 Unicode 问题

我正在使用 BeautifulSoup 来解析一些网页。

有时我会遇到如下“unicode hell”错误：

在 TheAtlantic.com 上查看这篇文章的来源 [http://www.theatlantic.com/education/archive/2013/10/why-are-hundreds-of-harvard-students-stuying-ancient-chinese-philosophy/280356/ ]

我们在 og:description 元属性中看到这一点：

<meta property="og:description" content="The professor who teaches&nbsp;Classical Chinese Ethical and Political Theory claims, &quot;This course will change your life.&quot;" />

当 BeautifulSoup 解析它时，我看到这个：

>>> print repr(description)
u'The professor who teaches\xa0Classical Chinese Ethical and Political Theory claims, "This course will change your life."'

如果我尝试将其编码为 UTF-8 ，就像这个评论建议的那样：https://stackoverflow.com/a/10996267/442650

>>> print repr(description.encode('utf8'))
'The professor who teaches\xc2\xa0Classical Chinese Ethical and Political Theory claims, "This course will change your life."'

正当我以为我已经控制了所有的 unicode 问题时，我仍然不太明白发生了什么，所以我将提出几个问题：

1-为什么BeautifulSoup要转换  to \xa0[拉丁字符集空格字符]？此页面上的字符集和标题是 UTF-8，我认为 BeautifulSoup 会提取该数据进行编码？为什么不将其替换为<space> ?

2-是否有一种通用的方法来规范转换的空格？

3-当我编码为 UTF8 时，在哪里\xa0成为序列\xc2\xa0 ?

我可以通过管道传输一切unicodedata.normalize('NFKD',string)帮助我到达我想去的地方 - 但我很想了解问题所在并避免将来出现类似问题。

您没有遇到问题。一切都按预期进行。

 表示一个不间断空格字符。它不会被替换为空格，因为它不代表空格；它代表一个不间断的空间。用空格替换它会丢失信息：在该空格出现的地方，文本渲染引擎不应放置换行符。

不间断空格的 Unicode 代码点是 U+00A0，在 Python 中以 Unicode 字符串形式编写为\xa0.

The UTF-8U+00A0 的编码是十六进制的两个字节序列 C2 A0，或者用 Python 字符串表示形式编写，\xc2\xa0。在 UTF-8 中，任何超出 7 位 ASCII 集的内容都需要两个或更多字节来表示。在这种情况下，最高位组是第八位。这意味着它可以用两字节序列（二进制）表示110xxxxx 10xxxxxx其中 x 是代码点的二进制表示形式的位。对于A0的情况，即10000000，或者以 UTF-8 编码时，11000010 10000000或 C2 A0。

很多人都用 在 HTML 中获取不会被通常的 HTML 空白折叠规则折叠的空格（在 HTML 中，所有连续的空格、制表符和换行符都会被解释为单个空格，除非其中之一）CSS white-space rules被应用），但这并不是它们真正的目的；它们应该用于名字之类的东西，比如“Mr. Miyagi”，你不希望“Mr.”之间有换行符。和“宫城”。我不确定为什么在这个特殊情况下使用它；它在这里似乎不合适，但这更多是您的源代码的问题，而不是解释它的代码的问题。

现在，如果您并不真正关心布局，因此您不介意文本布局算法是否选择它作为换行位置，但只想将其解释为常规空间，那么使用 NFKD 进行规范化是完全合理的答案（或者 NFKC，如果您更喜欢预先组合的口音而不是分解的口音）。这NFKC 和 NFKD 标准化映射字符，以便扩展在大多数上下文中表示本质上相同语义值的大多数字符。例如，连字扩展为 (ffi -> ffi)，古式长 s 字符转换为 s (ſ -> s)，罗马数字字符扩展为其单独的字母 (IV -> IV)，以及不间断空格转换成正常空间。对于某些字符，NFKC 或 NFKD 标准化可能会丢失在某些上下文中重要的信息： ℌ 和 ℍ 都会标准化为 H，但在数学文本中可用于指代不同的事物。