读取时出现 Ruby CSV UTF8 编码错误

这就是我正在做的：

csv = CSV.open(file_name, "r")

我用它来测试：

line = csv.shift
while not line.nil?
  puts line
  line = csv.shift
end

我遇到了这个：

ArgumentError: invalid byte sequence in UTF-8

我读了在这里回答 https://stackoverflow.com/a/4697471/724516这就是我尝试过的

csv = CSV.open(file_name, "r", encoding: "windows-1251:utf-8")

我遇到了以下错误：

Encoding::UndefinedConversionError: "\x98" to UTF-8 in conversion from Windows-1251 to UTF-8

然后我遇到了一个 Ruby 宝石 - charlock_holmes。我想我会尝试使用它来查找源编码。

CharlockHolmes::EncodingDetector.detect(File.read(file_name))
=> {:type=>:text, :encoding=>"windows-1252", :confidence=>37, :language=>"fr"}

所以我这样做了：

csv = CSV.open(file_name, "r", encoding: "windows-1252:utf-8")

仍然得到这个：

Encoding::UndefinedConversionError: "\x8F" to UTF-8 in conversion from Windows-1252 to UTF-8

您似乎在检测文件的有效编码时遇到问题。查洛克·福尔摩斯为您提供有用的提示:confidence=>37这仅仅意味着检测到的编码可能不正确。

根据错误消息和test_transcode.rb from https://github.com/MacRuby/MacRuby/blob/master/test-mri/test/ruby/test_transcode.rb https://github.com/MacRuby/MacRuby/blob/master/test-mri/test/ruby/test_transcode.rb我找到了通过您的两条错误消息的编码。在...的帮助下String#encode很容易测试：

"\x8F\x98".encode("UTF-8","cp1256") # => "ڈک"

您的问题看起来与文件严格相关，而不是与 ruby​​ 相关。

如果我们不确定要使用哪种编码并且同意放弃一些我们可以使用的字符:invalid and :undef参数为String#encode， 在这种情况下：

"\x8F\x98".encode("UTF-8", "CP1250",:invalid => :replace, :undef => :replace, :replace => "?") # => "Ź?"

另一种方法是使用Iconv *//IGNORE目标编码选项：

Iconv.iconv("UTF-8//IGNORE","CP1250", "\x8F\x98")

作为源编码建议查洛克·福尔摩斯应该还不错。

PS. String.encode在 ruby​​ 1.9 中引入。使用 ruby​​ 1.8 你可以使用Iconv