我正在开发 Laravel (v5.7) 应用程序,它将上传的 CSV(带有联系人)转换为数组,然后在调度作业类时将其作为参数传递。
以下是 CSV 文件的示例(支持的格式):
123456,Richard,Smith
654321,John,Doe
上传的 (CSV) 文件的处理方式如下:
$file_path = $request->file_name->store('contacts');
$file = storage_path('app/' . $file_path);
$contactsIterator = $this->getContacts($file);
$contacts = iterator_to_array($contactsIterator); // Array of contacts from uploaded CSV file
protected function getContacts($file)
{
$f = fopen($file, 'r');
while ($line = fgets($f))
{
$row = explode(",", $line);
yield [
'phone' => !empty($row[0]) ? trim($row[0]) : '',
'firstname' => !empty($row[1]) ? trim($row[1]) : '',
'lastname' => !empty($row[2]) ? trim($row[2]) : '',
];
}
}
最后,$contacts
数组被传递给调度的作业:
ImportContacts::dispatch($contacts);
这个作业类看起来像这样:
public function __construct($contacts)
{
Log::info('ImportContacts@__construct START');
$this->contacts = $contacts;
Log::info('ImportContacts@__construct END');
}
public function handle()
{
Log::info('ImportContacts@handle');
}
...一切工作正常(没有错误),直到我尝试使用此 CSV:
123456,Richardÿ,Smith
654321,John,Doe
请注意ÿ
。因此,当我尝试使用此 CSV 时,我收到此错误异常:
/code_smsto/vendor/laravel/framework/src/Illuminate/Queue/Queue.php | 91 | Unable to JSON encode payload. Error code: 5
...我的日志文件如下所示:
error local 2019-11-11 17:17:18 /code_smsto/vendor/laravel/framework/src/Illuminate/Queue/Queue.php | 91 | Unable to JSON encode payload. Error code: 5
info local 2019-11-11 17:17:18 ImportContacts@__construct END
info local 2019-11-11 17:17:18 ImportContacts@__construct START
如你看到的 -handle
方法从未被执行过。如果我删除ÿ
- 没有错误并且handle
被执行。
我尝试解决这个问题,但没有成功:
- Apply
utf8_encode
:
protected function getContacts($file, $listId)
{
$f = fopen($file, 'r');
while ($line = fgets($f))
{
$row = explode(",", $line);
yield [
'phone' => !empty($row[0]) ? utf8_encode($row[0]) : '',
'firstname' => !empty($row[1]) ? utf8_encode($row[1]) : '',
'lastname' => !empty($row[2]) ? utf8_encode($row[2]) : '',
];
}
}
...还有它works(没有错误,不管是否有那个ÿ
),但随后希腊字母和西里尔字母会变成问号。例如,这个:Εθνικής
会变成???????
.
我也尝试过mb_convert_encoding($row[1], 'utf-8')
- 它不会将希腊语或西里尔字母变成问号,但是这个ÿ
性格将成为?
.
- 将上传的 CSV 文件的“处理”(转换为数组)移至
@handle
Job 类的方法有效,但后来我无法将该数组中的数据存储到数据库(MongoDB)中。请参阅下面的更新。
调试:
这就是我从中得到的dd($contacts);
:
所以,它有“b”,其中ÿ
是。并且,经过一番“谷歌搜索”后,我发现这个“b”意味着“二进制字符串”,即非unicode字符串,函数在字节级别上运行(字符串前面的 b 有何作用?).
我的理解是这样的:当调度 Job 类时,Laravel 尝试对其进行“JSON 编码”(传递参数/数据),但由于存在二进制数据(非 unicode 字符串)而失败。
无论如何,我无法找到解决方案(能够使用以下命令处理此类 CSV 文件)ÿ
).
我在用:
- 拉拉维尔 5.7
- PHP 7.1.31-1+ubuntu16.04.1+deb.sury.org+1 (cli)(构建时间:2019 年 8 月 7 日 10:22:48)( NTS )
- Redis 支持的队列
UPDATE
当我将上传的 CSV 文件的“处理”(转换为数组)移至@handle
Job 类的方法 - 我没有收到此错误(Unable to JSON encode payload. Error code: 5
),但是当我尝试使用以下命令存储有问题的二进制数据时ÿ
(b"Richardÿ"
) 到 MongoDB - 它失败了。奇怪的是我没有收到任何错误异常message在日志文件中,所以我将所有内容放入 try-catch 中,如下所示:
try {
// Insert data into MongoDB
} catch (Exception $e) {
Log::info($e->getFile());
Log::info($e->getLine());
Log::info($e->getMessage());
}
...这就是结果:
无论如何,我相信它失败的原因是b"Richardÿ"
,我猜解决方案是编码字符串,但正如我所提到的 - 我无法找到有效的解决方案:
-
utf8_encode
有效(没有错误,无论是否有错误ÿ
),但随后希腊字母和西里尔字母会变成问号。例如,这个:Εθνικής
会变成???????
-
mb_convert_encoding($row[1], 'utf-8')
- 它不会将希腊语或西里尔字母变成问号,但是这个ÿ
性格将成为?
.
-
iconv('windows-1252', 'UTF-8', $row[1])
- 有效(没有错误,无论是否有错误ÿ
),但是当有希腊语或西里尔字母时 - 它会失败(我收到此错误异常:iconv(): Detected an illegal character in input string
)