C++11 中字符串文字的 Unicode 编码

继一个相关问题 https://stackoverflow.com/questions/6794590/how-does-file-encoding-affect-c11-string-literals，我想问一下C++11中新的字符和字符串文字类型。看起来我们现在有四种字符和五种字符串文字。字符类型：

char     a =  '\x30';         // character, no semantics
wchar_t  b = L'\xFFEF';       // wide character, no semantics
char16_t c = u'\u00F6';       // 16-bit, assumed UTF16?
char32_t d = U'\U0010FFFF';   // 32-bit, assumed UCS-4

和字符串文字：

char     A[] =  "Hello\x0A";         // byte string, "narrow encoding"
wchar_t  B[] = L"Hell\xF6\x0A";      // wide string, impl-def'd encoding
char16_t C[] = u"Hell\u00F6";        // (1)
char32_t D[] = U"Hell\U000000F6\U0010FFFF"; // (2)
auto     E[] = u8"\u00F6\U0010FFFF"; // (3)

问题是：\x/\u/\U字符引用可以与所有字符串类型自由组合吗？所有字符串类型都是固定宽度的，即数组包含的元素数量与文字中出现的元素数量完全相同，或者\x/\u/\U引用被扩展为可变数量的字节？做u"" and u8""字符串具有编码语义，例如我能说......么char16_t x[] = u"\U0010FFFF"，并且非 BMP 代码点被编码为两个单元的 UTF16 序列？同样对于u8？在（1）中，我可以写单独的代理吗\u？最后，是否有任何字符串函数能够识别编码（即它们能够识别字符并且可以检测无效的字节序列）？

这是一个有点开放式的问题，但我想尽可能完整地了解新 C++11 的新 UTF 编码和类型设施。

\x/\u/\U 字符引用是否可以与所有字符串类型自由组合？

No. \x可以用在任何东西上，但是\u and \U只能用于专门 UTF 编码的字符串。但是，对于任何 UTF 编码的字符串，\u and \U可以按照您认为合适的方式使用。

所有字符串类型都是固定宽度的，即数组包含与文字中出现的元素一样多的元素，还是将 \x/\u/\U 引用扩展为可变数量的字节？

不是按照你的意思。\x, \u, and \U根据字符串编码进行转换。这些“代码单元”的数量（使用 Unicode 术语。Achar16_t是 UTF-16 代码单元）值取决于包含字符串的编码。字面意思u8"\u1024"将创建一个包含 2 的字符串chars 加一个空终止符。字面意思u"\u1024"将创建一个包含 1 的字符串char16_t加上一个空终止符。

使用的代码单元数量基于 Unicode 编码。

u"" 和 u8"" 字符串是否具有编码语义，例如我可以说 char16_t x[] = u"\U0010FFFF"，并且非 BMP 代码点被编码为两个单元的 UTF16 序列吗？

u""创建 UTF-16 编码的字符串。u8""创建一个 UTF-8 编码的字符串。它们将按照 Unicode 规范进行编码。

在(1)中，我可以用\u写单独的代理吗？

绝对不。该规范明确禁止使用 UTF-16 代理对 (0xD800-0xDFFF) 作为代码点\u or \U.

最后，是否有任何字符串函数能够识别编码（即它们能够识别字符并且可以检测无效的字节序列）？

绝对不。好吧，请允许我重新表述一下。

std::basic_string不处理 Unicode 编码。他们当然可以storeUTF 编码的字符串。但他们只能将它们视为序列char, char16_t, or char32_t;他们不能将它们视为使用特定机制编码的 Unicode 代码点序列。basic_string::length()将返回代码单元的数量，而不是代码点的数量。显然，C 标准库字符串函数完全没用

但应该注意的是，Unicode 字符串的“长度”并不意味着代码点的数量。一些代码点正在组合“字符”（一个不幸的名称），它与前一个代码点组合。因此多个代码点可以映射到单个视觉字符。

Iostream 实际上可以读取/写入 Unicode 编码值。为此，您必须使用区域设置来指定编码并将其正确地注入到各个位置。这说起来容易做起来难，而且我身上没有任何代码来向您展示如何操作。