使用 PHP 上传到 S3 的 RequestTimeout

我在从我们的一台服务器上将文件上传到 S3 时遇到问题。我们使用 S3 来存储备份，所有服务器都运行 Ubuntu 8.04、PHP 5.2.4 和 libcurl 7.18.0。每当我尝试上传文件时，亚马逊都会返回 RequestTimeout 错误。我知道我们当前版本的 libcurl 存在一个错误，无法上传超过 200MB 的文件。因此，我们将备份分割成更小的文件。

我们的服务器托管在 Amazon EC2 上，服务器托管在客户的“私有云”（位于公司防火墙后面的 VMWare ESX 盒子）上。我遇到问题的特定服务器托管在客户的私有云上​​。

我们使用 Amazon S3 PHP 类http://undesign.org.za/2007/10/22/amazon-s3-php-class http://undesigned.org.za/2007/10/22/amazon-s3-php-class。我尝试过 200MB、100MB 和 50MB 文件，结果都相同。我们使用以下命令来上传文件：

$s3 = new S3($access_key, $secret_key, false);
$success = $s3->putObjectFile($local_path, $bucket_name,
    $remote_name, S3::ACL_PRIVATE);

我尝试过设置curl_setopt($curl, CURLOPT_NOPROGRESS, false);在上传文件时查看进度条。我第一次使用此选项集运行它时，它起作用了。然而，随后的每一次都失败了。它似乎以大约 3Mb/s 的速度上传文件，持续 5-10 秒，然后降至 0。20 秒后，速度为 0，亚马逊返回“RequestTimeout - 您与服务器的套接字连接在超时时间内未读取或写入”期间。空闲连接将被关闭。”错误。

我尝试将 S3 类更新到最新版本GitHub https://github.com/tpyo/amazon-s3-php-class/blob/master/S3.php但这没有什么区别。我还找到了Amazon S3 流包装器 http://www.phpclasses.org/package/4144-PHP-Stream-wrapper-to-get-and-send-files-to-Amazon-S3.html类并使用以下代码进行了尝试：

include 'gs3.php';
define('S3_KEY', 'ACCESSKEYGOESHERE');
define('S3_PRIVATE','SECRETKEYGOESHERE');
$local = fopen('/path/to/backup_id.tar.gz.0000', 'r');
$remote = fopen('s3://bucket-name/customer/backup_id.tar.gz.0000', 'w+r');

$count = 0;
while (!feof($local))
{
    $result = fwrite($remote, fread($local, (1024 * 1024)));
    if ($result === false)
    {
        fwrite(STDOUT, $count++.': Unable to write!'."\n");
    }
    else
    {
        fwrite(STDOUT, $count++.': Wrote '.$result.' bytes'."\n");
    }
}

fclose($local);
fclose($remote);

此代码一次读取一个 MB 的文件，以便将其流式传输到 S3。对于 50MB 的文件，我收到“1：写入 1048576 字节”49 次（当然，第一个数字每次都会更改），但在循环的最后一次迭代中，我收到一条错误，内容为“注意：fputs()：发送 8192字节失败，errno=11 资源在第 230 行 /path/to/http.php 中暂时不可用”。

我的第一个想法是这是一个网络问题。我们打电话给客户解释了这个问题，并要求他们检查防火墙，看看是否丢失了任何东西。据他们的网络管理员称，流量运行得很好。

我不知道接下来我能做什么。我一直在手动运行备份并使用 SCP 将它们传输到另一台机器并上传。这显然并不理想，任何帮助将不胜感激。

更新 - 06/23/2011

我尝试了下面的许多选项，但它们都提供了相同的结果。我发现即使尝试将文件从有问题的服务器 scp 到另一台服务器也会立即停止并最终超时。但是，我可以使用 scp 从另一台计算机下载相同的文件。这让我更加确信这是客户端的网络问题，任何进一步的建议将不胜感激。

存在此问题是因为您尝试再次上传相同的文件。例子：

$s3 = new S3('XXX','YYYY', false);
$s3->putObjectFile('file.jpg','bucket-name','file.jpg');
$s3->putObjectFile('file.jpg','bucket-name','newname-file.jpg');

要修复此问题，只需复制文件并为其指定新名称，然后正常上传即可。

Example:

$s3 = new S3('XXX','YYYY', false);
$s3->putObjectFile('file.jpg','bucket-name','file.jpg');
now rename file.jpg to newname-file.jpg
$s3->putObjectFile('newname-file.jpg','bucket-name','newname-file.jpg');