Python DictWriter 写入 UTF-8 编码的 CSV 文件

1. 我有一个包含 unicode 字符串的字典列表。
2. csv.DictWriter可以将字典列表写入 CSV 文件。
3. 我希望 CSV 文件以 UTF8 编码。
4. The csv模块无法处理将 unicode 字符串转换为 UTF8。

5. The csv模块文档有一个将所有内容转换为 UTF8 的示例：

   def utf_8_encoder(unicode_csv_data):
       for line in unicode_csv_data:
           yield line.encode('utf-8')
   

6. 它还有一个UnicodeWriter班级。

但是...我该怎么做DictWriter与这些一起工作？难道他们不需要将自己注入其中，以捕获反汇编的字典并在将它们写入文件之前对其进行编码吗？我不明白。

UPDATE：第3方Unicodecsv https://pypi.org/project/unicodecsv/模块为您实现了这个 7 年前的答案。此代码下面的示例。还有一个不需要第三方模块的 Python 3 解决方案。

Python 2 原始答案

如果使用 Python 2.7 或更高版本，请在传递给 DictWriter 之前使用 dict 理解将字典重新映射为 utf-8：

# coding: utf-8
import csv
D = {'name':u'马克','pinyin':u'mǎkè'}
f = open('out.csv','wb')
f.write(u'\ufeff'.encode('utf8')) # BOM (optional...Excel needs it to open UTF-8 file properly)
w = csv.DictWriter(f,sorted(D.keys()))
w.writeheader()
w.writerow({k:v.encode('utf8') for k,v in D.items()})
f.close()

您可以使用这个想法将 UnicodeWriter 更新为 DictUnicodeWriter：

# coding: utf-8
import csv
import cStringIO
import codecs

class DictUnicodeWriter(object):

    def __init__(self, f, fieldnames, dialect=csv.excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.DictWriter(self.queue, fieldnames, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, D):
        self.writer.writerow({k:v.encode("utf-8") for k,v in D.items()})
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for D in rows:
            self.writerow(D)

    def writeheader(self):
        self.writer.writeheader()

D1 = {'name':u'马克','pinyin':u'Mǎkè'}
D2 = {'name':u'美国','pinyin':u'Měiguó'}
f = open('out.csv','wb')
f.write(u'\ufeff'.encode('utf8')) # BOM (optional...Excel needs it to open UTF-8 file properly)
w = DictUnicodeWriter(f,sorted(D.keys()))
w.writeheader()
w.writerows([D1,D2])
f.close()

蟒蛇2Unicodecsv https://pypi.org/project/unicodecsv/例子：

# coding: utf-8
import unicodecsv as csv

D = {u'name':u'马克',u'pinyin':u'mǎkè'}

with open('out.csv','wb') as f:
    w = csv.DictWriter(f,fieldnames=sorted(D.keys()),encoding='utf-8-sig')
    w.writeheader()
    w.writerow(D)

Python 3：

此外，Python 3 的内置 csv 模块本身支持 Unicode：

# coding: utf-8
import csv

D = {u'name':u'马克',u'pinyin':u'mǎkè'}

# Use newline='' instead of 'wb' in Python 3.
with open('out.csv','w',encoding='utf-8-sig',newline='') as f:
    w = csv.DictWriter(f,fieldnames=sorted(D.keys()))
    w.writeheader()
    w.writerow(D)