UTF-8 编码对于英文字母,占用一个字节;
UTF-8 编码对于中文字母,占用多个字节,最大占用6个字节,其中第一个字节二进制的最高位连续1的个数来表示占用字节的个数,例如;
汉字“中”占3个字节
“中” : 11100100 10111000 10101101
“国” : 11100101 10011011 10111101
实现汉字的分割代码:
vector<string> list;
int strSize = str.size();
int i = 0;
while (i < strSize) {
int len = 1;
for (int j = 0; j < 6 && (str[i] & (0x80 >> j)); j++) {
len = j+1;
}
list.push_back(str.substr(i, len));
i += len;
}
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)