如何在 Windows 上将 UTF-8 字符串打印到 std::cout？

我正在用 C++ 编写一个跨平台应用程序。所有字符串均在内部进行 UTF-8 编码。考虑以下简化代码：

#include <string>
#include <iostream>

int main() {
    std::string test = u8"Greek: αβγδ; German: Übergrößenträger";
    std::cout << test;

    return 0;
}

在 Unix 系统上，std::cout期望 8 位字符串采用 UTF-8 编码，因此此代码可以正常工作。

然而，在 Windows 上，std::cout期望 8 位字符串采用 Latin-1 或类似的非 Unicode 格式（取决于代码页）。这将导致以下输出：

希腊语：╬▒╬▓╬│╬┤；德语: ├£bergr├Â├ςentr├ñger

我能做些什么来使std::cout在 Windows 上将 8 位字符串解释为 UTF-8？

这是我尝试过的：

#include <string>
#include <iostream>
#include <io.h>
#include <fcntl.h>

int main() {
    _setmode(_fileno(stdout), _O_U8TEXT);
    std::string test = u8"Greek: αβγδ; German: Übergrößenträger";
    std::cout << test;

    return 0;
}

我本来希望_setmode就可以了。但是，这会导致调用行中出现以下断言错误operator<<:

Microsoft Visual C++ 运行时库

调试断言失败！

程序：d：\ Visual Studio 2015 \ Projects \ utf8test \ Debug \ utf8test.exe 文件：minkernel\crts\ucrt\src\appcrt\stdio\fputc.cpp 线路：47

表达式： ( (_Stream.is_string_backed()) || (fn = _fileno(_Stream.public_stream()), ((_textmode_safe(fn) == __crt_lowio_text_mode::ansi) && !_tm_unicode_safe(fn))))

有关您的程序如何引发断言的信息 失败，请参阅有关断言的 Visual C++ 文档。

最后，我成功了。这个答案结合了 Miles Budnek、Paul 和 mkluwe 的意见以及我自己的一些研究。首先，让我从可在 Windows 10 上运行的代码。之后，我将引导您完成代码并解释为什么它不能在 Windows 7 上开箱即用。

#include <string>
#include <iostream>
#include <Windows.h>
#include <cstdio>

int main() {
    // Set console code page to UTF-8 so console known how to interpret string data
    SetConsoleOutputCP(CP_UTF8);

    // Enable buffering to prevent VS from chopping up UTF-8 byte sequences
    setvbuf(stdout, nullptr, _IOFBF, 1000);

    std::string test = u8"Greek: αβγδ; German: Übergrößenträger";
    std::cout << test << std::endl;
}

代码首先设置代码页，正如迈尔斯·布德尼克所建议的。这将告诉控制台将其接收到的字节流解释为 UTF-8，not作为 ANSI 的一些变体。

接下来，Visual Studio自带的STL代码有问题。std::cout将其数据打印到 type 的流缓冲区std::basic_filebuf。当该缓冲区接收到一个字符串时（通过std::basic_streambuf::sputn()），它不会将其作为一个整体传递给底层文件。相反，它将单独传递每个字节。正如 mkluwe 所解释的，如果控制台接收到 UTF-8 字节序列作为单独的字节，它不会将它们解释为单个代码点。相反，它会将它们视为多个字符。 UTF-8 字节序列中的每个字节本身都是无效的代码点，因此您会看到 �。有Visual Studio 的相关错误报告，但它被关闭为“按设计”。解决方法是启用流缓冲。作为额外的好处，这将为您带来更好的性能。但是，您现在可能需要像我一样定期刷新流std::endl，否则您的输出可能不会显示。

最后，Windows 控制台支持光栅字体和 TrueType 字体。正如保罗所指出的，光栅字体将简单地忽略控制台的代码页。因此，仅当控制台设置为 TrueType 字体时，非 ASCII Unicode 字符才有效。在 Windows 7 之前，默认字体是光栅字体，因此用户必须手动更改它。幸运的是，Windows 10 将默认字体更改为 Consolas，所以这部分问题应该随着时间的推移自行解决。