使用 Python 使用正确的编码从 Oracle 导入

我很抱歉提出一个字符编码问题，因为我知道你们每天都会遇到很多问题，但我无法弄清楚我的问题，所以我还是问了。

这是我们正在做的事情：

1. 使用 Python 从 Oracle DB 获取数据并cx_Oracle.
2. 使用 Python 将数据写入文件。
3. 使用 Python 将文件引入 Postgres 并psycopg2.

以下是重要的 Oracle 设置：

SQL> select * from NLS_DATABASE_PARAMETERS;

PARAMETER                      VALUE
------------------------------ ----------------------------------------
NLS_LANGUAGE                   AMERICAN
NLS_TERRITORY                  AMERICA
NLS_CURRENCY                   $
NLS_ISO_CURRENCY               AMERICA
NLS_NUMERIC_CHARACTERS         .,
NLS_CHARACTERSET               US7ASCII

根据这个NLS_LANG faq http://www.oracle.com/technetwork/database/globalization/nls-lang-099431.html#_Toc110410550，您应该根据客户端操作系统使用的内容设置 NLS_LANG。

Running locale给我们：LANG=en_US.UTF-8（所有其他字段也是 en_US.UTF-8）。

因此，在我们的 Python 脚本中，我们这样设置：

os.environ["NLS_LANG"] = "AMERICAN_AMERICA.AL32UTF8"

然后我们导入数据并将其写入文件。

row = cur.fetchall()
fil.write(row[0][0]) #For this test, I am only writing one row and one field.

我们将该文件提取到 UT​​F-8 Postgres 数据库中。

不幸的是，由于某种原因，我们在我们的文件和随后的 PG 表中得到了这个符号：�。如果我的理解正确的话，这就是替换字符 http://www.fileformat.info/info/unicode/char/fffd/index.htm。我相信如果 Unicode 无法识别某个符号，该字符就会显示出来。

（在某些文本编辑器中，该符号显示为�).

我不明白的是为什么会发生这种情况？我认为 UTF-8 向后兼容 7 位 ASCII？

即使我们使用区域页面，它是否仍然可以工作，因为客户端使用的是 US，而 Oracle 服务器使用的是 AMERICAN？

如何检查数据是否正确导入，如果不正确，如何修复它以便将来导入？

注意：Oracle 字段是CHAR字段而不是NCHAR field.

注意2：我们使用的是Python 2.4，因此Python 3.X 中没有原生的Unicode 内容。因此，Python 可能在某个地方搞砸了，尽管我认为 cx_Oracle 已经解决了这一切。

感谢您抽出宝贵的时间，希望您有美好的一天。

不幸的是，由于某种原因，我们在我们的文件和随后的 PG 表中得到了这个符号：�。如果我的理解是正确的，这就是替换字符。我相信如果 Unicode 无法识别某个符号，该字符就会显示出来。

大部分是正确的，但不完全正确。使用该编码时，PostgreSQL 将拒绝插入非 UTF8 文本字符（在 StackOverflow 上搜索“Invalid UTF8 postgresql”）。您看到的字符很可能是您无法识别的有效 UTF8 字符font因此显示替换字符。如果该符号在您的 Oracle 数据库中并且实际上是那里的替换符号，那么您想用什么替换它？如果是这样的话，那么信息就已经丢失了。

我不明白的是为什么会发生这种情况？我认为 UTF-8 向后兼容 7 位 ASCII？

It is.

如何检查数据是否正确导入，如果不正确，如何修复它以便将来导入？

您的问题很可能出在 Oracle 数据库的上游。我会找出到底是什么将问题数据插入到 Oracle 数据库中并在那里修复它。如果您可以对照 Oracle 中的数据检查 Pg 中的数据，您应该能够确定数据是否逐个字符相同（并标记任何差异）。这就是检查当前导入的方法。

注意2：我们使用的是Python 2.4，因此Python 3.X 中没有原生的Unicode 内容。因此，Python 可能在某个地方搞砸了，尽管我认为 cx_Oracle 已经解决了这一切。

那是另一种可能。就文件转换而言，我个人更喜欢 Perl，因为它集成了正则表达式和绝对顶级的 PostgreSQL 支持。不过，我认识到您的导入例程此时可能无法轻松转换。与 Python 相比，我对 Perl 中的 UTF8 转换问题的故障排除更加熟悉。不过，我确实想知道您是否可以检查以二进制格式输出的此类符号的数据。