R - 如何分割文本和标点符号但有例外？

在 R 中分析 Facebook 评论进行情感分析。表情符号是在 符号之间的文本编码。

例子：

"Jesus te ama!!! <U+2764>  Ou não...?<U+1F628> (fé em stand by)"

<U+2764> and <U+1F628>是表情符号（沉重的黑色心和恐惧的脸， 分别）。

因此，我需要分割单词/数字和标点符号/符号，表情符号代码除外。 我使用 gsub 函数做到了：

a1  <- "([[:alpha:]])([[:punct:]])"
a2 <- "([[:punct:]])([[:alpha:]])"
b <- "\\1 \\2"
gsub(a1, b, gsub(a2, b, "Jesus te ama!!! <U+2764>  Ou não...?<U+1F628> (fé em stand by)"))

...但是，从逻辑上讲，结果也会影响表情符号代码：

[1] "Jesus te ama !!! < U +2764>  Ou não ...?< U +1F628> ( fé em stand by )"

目标是为 之间的文本创建一个例外，将其在外部拆分并且不在内部拆分 - 即：

[1] "Jesus te ama !!! <U+2764>  Ou não ...? <U+1F628> ( fé em stand by )"

注意：

1. 有时句子/单词/标点符号和表情符号代码之间不存在空格（需要创建）
2. 要求 punct 序列保持连接（例如“！！！”、“...？”）

我该怎么做？

您可以使用以下正则表达式解决方案：

a1  <- "(?<=<)U\\+\\w+>(*SKIP)(*F)|(?<=\\S)(?=<U\\+\\w+>)|(?<=[[:alpha:]])(?=[[:punct:]])|(?<=[[:punct:]])(?=[[:alpha:]])"
gsub(a1, " ", "Jesus te ama!!! <U+2764>  Ou não...?<U+1F628> (fé em stand by)", perl=TRUE)
# => [1] "Jesus te ama !!! <U+2764>  Ou não ...? <U+1F628> ( fé em stand by )"

See the 在线 R 演示 http://ideone.com/gw7ptY

这个 PCRE 正则表达式（参见perl=TRUE调用中的参数gsub） 火柴：

• (?<=<)U\\+\\w+>(*SKIP)(*F) - a U+和 1+ 个单词字符>在 if 之前<- 并且匹配值与 PCRE 动词一起被丢弃(*SKIP)(*F)并从本场比赛结束后寻找下一场比赛
• | - or
• (?<=\\S)(?=<U\\+\\w+>)- 非空白字符必须紧邻当前位置的左侧，并且<U+, 1+ 个单词字符和>必须立即出现在当前位置的右侧
• | - or
• (?<=[[:alpha:]])(?=[[:punct:]])- 字母必须紧邻当前位置的左侧，标点符号必须紧邻当前位置的右侧
• | - or
• (?<=[[:punct:]])(?=[[:alpha:]])- 标点符号必须紧邻当前位置的左侧，并且字母必须紧邻当前位置的右侧