如何将字符串拆分为标记？

如果我有一个字符串

'x+13.5*10x-4e1'

我怎样才能将它分成以下令牌列表？

['x', '+', '13', '.', '5', '*', '10', 'x', '-', '4', 'e', '1']

目前我正在使用 shlex 模块：

str = 'x+13.5*10x-4e1'
lexer = shlex.shlex(str)
tokenList = []
for token in lexer:
    tokenList.append(str(token))
return tokenList

但这返回：

['x', '+', '13', '.', '5', '*', '10x', '-', '4e1']

所以我试图将字母与数字分开。我正在考虑获取包含字母和数字的字符串，然后以某种方式拆分它们，但不确定如何执行此操作或如何将它们全部添加回列表中与其他字符串。令牌保持顺序很重要，而且我不能有嵌套列表。

在理想的世界中，e 和 E 不会以同样的方式被识别为字母，所以

'-4e1'

会成为

['-', '4e1']

but

'-4x1'

会成为

['-', '4', 'x', '1']

有人可以帮忙吗？

使用正则表达式模块split()函数，分割于

• '\d+'-- 数字（数字字符）和
• '\W+'-- 非单词字符：

CODE:

import re

print([i for i in re.split(r'(\d+|\W+)', 'x+13.5*10x-4e1') if i])

OUTPUT:

['x', '+', '13', '.', '5', '*', '10', 'x', '-', '4', 'e', '1']

如果您不想分隔点（作为表达式中的浮点数），那么您应该使用：

• [\d.]+-- 数字或点字符（尽管这允许您编写：13.5.5

CODE:

print([i for i in re.split(r'([\d.]+|\W+)', 'x+13.5*10x-4e1') if i])

OUTPUT:

['x', '+', '13.5', '*', '10', 'x', '-', '4', 'e', '1']