Google App Engine TextProperty 和 UTF-8：何时编码/解码

我使用的是带有 Django 模板和 Webapp 框架的 Google App Engine 2.5。

db.TextProperty、UTF-8、Unicode 和解码/编码让我很困惑。我非常感谢一些专家可以提供一些建议。我用谷歌搜索了一整晚，仍然有很多问题。

我正在尝试做的事情：

[utf-8 form input] => [Python, Store in db.TextProperty] => [When Needed, Replace Japanese with English] => [HTML, UTF-8]

根据这个答案在 Python 中将 unicode 字符串压缩在一起 https://stackoverflow.com/questions/10650004/zipping-together-unicode-strings-in-python/10650469#10650469

# -*- coding: utf-8 -*-

以及所有以 utf-8 格式保存的 .py 文件

这是我的代码：

#Model.py
class MyModel(db.Model):
  content = db.TextProperty()

#Main.py
def post(self):
    content=cgi.escape(self.request.get('content'))
    #what is the type of content? Unicode? Str? or Other?
    obj = MyModel(content=content)
    #obj = MyModel(content=unicode(content))
    #obj = MyModel(content=unicode(content,'utf-8'))
    #which one is the best?
    obj.put()

#Replace one Japanese word with English word in the content
content=obj.content
#what is the type of content here? db.Text? Unicode? Str? or Other?
#content=unicode(obj.content, 'utf-8') #Is this necessary?
content=content.replace(u'ひと',u'hito')

#Output to HTML
self.response.out.write(template.render(path, {'content':content})
#self.response.out.write(template.render(path, {'content':content.encode('utf-8')})

希望一些Google App Engine工程师能够看到这个问题并提供一些帮助。多谢！

First, 读这个 http://www.joelonsoftware.com/articles/Unicode.html. And this http://blog.notdot.net/2010/07/Getting-unicode-right-in-Python.

简而言之，每当您在应用程序中处理文本字符串时，它都应该是 unicode 字符串。当您想要以字节形式发送数据时（例如通过 HTTP），您应该编码为字节字符串（“str”而不是“unicode”的实例），并且当您收到表示文本的字节时，您应该从字节字符串进行解码（而且你知道它们的编码）。您应该对包含编码文本的字节字符串执行的唯一操作是对它们进行解码或编码。

幸运的是，大多数框架都能做到这一点。例如，webapp 和 webapp2（我可以看到您正在使用 webapp）应该从所有请求方法返回 unicode 字符串，并对您传递给它们的任何字符串进行适当的编码。确保您负责的所有字符串都是 unicode，这样应该没问题。

请注意，字节字符串可以存储任何类型的数据 - 编码文本、可执行文件、图像、随机字节、加密数据等。如果没有元数据，例如知道它是文本以及它采用什么编码，那么除了存储和检索它之外，您无法明智地使用它做任何事情。

永远不要尝试解码 unicode 字符串或编码字节字符串；它不会做你所期望的事情，事情会变得非常糟糕。

关于数据存储，db.Text是一个子类unicode;出于所有意图和目的is一个 unicode 字符串 - 它只是不同，因此数据存储区可以告诉它不应该被索引。同样地，db.Blob是一个子类str，用于存储字节字符串。