解析推文 json 时出现新人错误 UnicodeEncodeError：“charmap”编解码器无法对位置 13-63 中的字符进行编码：字符映射到

我正在尝试学习数据科学入门 coursera 课程。但我在尝试解析来自 twitter 的 json 响应时遇到了问题

我正在尝试从以下格式的 json 中检索文本。

{u'delete': {u'status': {u'user_id_str': u'702327198', u'user_id': 702327198, u'id': 332772178690981889L, u'id_str': u'332772178690981889'}}}, {u'delete': {u'status': {u'user_id_str': u'864736118', u'user_id': 864736118, u'id': 332770710667792384L, u'id_str': u'332770710667792384'}}}, {u'contributors': None, u'truncated': False, **u'text'**: u'RT @afgansyah_reza: Lagi ngantri. Ada ibu2 & temennya. "Ih dia mukanya mirip banget sama Afgan.", trus ngedeketin gw, "Tuh kan.. Mirip bang\u2026', u'in_reply_to_status_id': None, u'id': 332772350640668672L, u'favorite_count': 0, ....... ]

这是我使用的代码：

def hw():
    data = []
    count=0
    with open('output.txt') as f:
        for line in f:
            encoded_string = line.strip().encode('utf-8')
            data.append(json.loads(encoded_string))

    print data# generates the input to next block
    for listval in data:#individual block
        if "text" in listval:
            print listval["text"]
        else:
            continue

但是，当我运行它时，我得到以下输出和错误

   RT @afgansyah_reza: Lagi ngantri. Ada ibu2 & temennya. "Ih dia mukanya mirip banget sama Afgan.", trus ngedeketin gw, "Tuh kan.. Mirip bang…
RT @Dimaz_CSIX: Kolor pakek pita #laguharlemshake
Traceback (most recent call last):
  File "F:\ProgrammingPoint\workspace-new\PyTest\tweet_sentiment.py", line 41, in <module>
    main()
  File "F:\ProgrammingPoint\workspace-new\PyTest\tweet_sentiment.py", line 36, in main
    hw()
  File "F:\ProgrammingPoint\workspace-new\PyTest\tweet_sentiment.py", line 23, in hw
    print listval["text"]
  File "C:\Python27\lib\encodings\cp1252.py", line 12, in encode
    return codecs.charmap_encode(input,errors,encoding_table)
UnicodeEncodeError: 'charmap' codec can't encode characters in position 13-63: character maps to <undefined>

我是 Python 的新手，任何帮助将不胜感激。

您所有的转换等都是正确的。问题只是想print它到标准输出。

（通常，您会遇到重音、东亚等字符的问题；这里似乎是…省略号字符，但这是同样的问题。）

如果您在终端窗口（DOS 提示符等）中运行此命令，则只能打印终端字符集可以处理的字符。因此，例如，在配置为“cp1252”（如您的）的 Windows 机器上，您无法打印非 Latin-1/非 Latin-15/非 ANSI 字符。

（在早期版本的 Python 中，还有一个额外的问题，即 Python 可能无法正确猜测终端的最佳编码，并让您坚持，例如，'ascii'即使它可以处理utf-8， 或者至少cp1252。您可以使用以下命令找出 Python 为 stdout 猜测的编码sys.stdout.encoding。如果这是错误的，您可以明确修复它。）

但是，如果您的终端不是 UTF-8（事实上也不是），您需要告诉它如何处理它无法表示的字符。你可以encode带有显式的字符串errors每当你的参数print他们，像这样：

print u.encode(sys.stdout.encoding, 'replace')

......或其他各种事情。但如果您想在一处解决所有问题，您需要更改打印的默认错误处理程序。

不幸的是，在 Python 2.7 中，虽然sys.stdout确实有一个errors属性，它是只读的。解决这个问题的一种方法是将其替换为原来的包装纸sys.stdout（或围绕其底层文件句柄，或其他等效的东西）。例如：

>>> u = 'RT @afgansyah_reza: Lagi ngantri. Ada ibu2 & temennya. "Ih dia mukanya mirip banget sama Afgan.", trus ngedeketin gw, "Tuh kan.. Mirip bang\xe2\x80\xa6'.decode('utf8')
>>> print u
UnicodeEncodeError: 'charmap' codec can't encode characters in position 13-63: character maps to <undefined>
>>> sys.stdout = codecs.getwriter(sys.stdout.encoding)(sys.stdout, errors='replace')
>>> print u
RT @afgansyah_reza: Lagi ngantri. Ada ibu2 &amp; temennya. "Ih dia mukanya mirip banget sama Afgan.", trus ngedeketin gw, "Tuh kan.. Mirip bang?

欲了解更多信息，请阅读2.x Unicode 指南，以及有关的文档print。他们希望你知道unicode对象是一个字符串，因此它不会被转换print，而是传递给write按原样。所以，诀窍是放入某种包装器sys.stdout.write那会写str对象按原样，但进行编码unicode对象不同。任何一个codecs or io可以为你做这个，但是codecs更加向后兼容（并且io更向前兼容，但这在这里没有太大区别，因为 3.x 处理 Unicode 的方式非常不同）。