如何使用Java获取上传到Amazon S3的文件的进度状态

2023-11-23

我正在使用 Java 将多个文件上传到 Amazon S3。

我使用的代码如下:

MultipartHttpServletRequest multipartRequest = (MultipartHttpServletRequest) request;
MultiValueMap < String,
MultipartFile > map = multipartRequest.getMultiFileMap();
try {
    if (map != null) {
        for (String filename: map.keySet()) {
            List < MultipartFile > fileList = map.get(filename);
            incrPercentge = 100 / fileList.size();
            request.getSession().setAttribute("incrPercentge", incrPercentge);
            for (MultipartFile mpf: fileList) {

                /*
         * custom input stream wrap to original input stream to get
         * the progress
         */
                ProgressInputStream inputStream = new ProgressInputStream("test", mpf.getInputStream(), mpf.getBytes().length);
                ObjectMetadata metadata = new ObjectMetadata();
                metadata.setContentType(mpf.getContentType());
                String key = Util.getLoginUserName() + "/" + mpf.getOriginalFilename();
                PutObjectRequest putObjectRequest = new PutObjectRequest(
                Constants.S3_BUCKET_NAME, key, inputStream, metadata).withStorageClass(StorageClass.ReducedRedundancy);
                PutObjectResult response = s3Client.putObject(putObjectRequest);

            }
        }
    }
} catch(Exception e) {
    e.printStackTrace();
}

我必须创建自定义输入流才能获取 Amazon S3 消耗的字节数。我从这里的问题中得到了这个想法:使用进度回调将文件或 InputStream 上传到 S3

My ProgressInputStream类代码如下:

package com.spectralnetworks.net.util;
import java.io.IOException;
import java.io.InputStream;

import org.apache.commons.vfs.FileContent;
import org.apache.commons.vfs.FileSystemException;

public class ProgressInputStream extends InputStream {
    private final long size;
    private long progress,
    lastUpdate = 0;
    private final InputStream inputStream;
    private final String name;
    private boolean closed = false;

    public ProgressInputStream(String name, InputStream inputStream, long size) {
        this.size = size;
        this.inputStream = inputStream;
        this.name = name;
    }

    public ProgressInputStream(String name, FileContent content)
    throws FileSystemException {
        this.size = content.getSize();
        this.name = name;
        this.inputStream = content.getInputStream();
    }

    @Override
    public void close() throws IOException {
        super.close();
        if (closed) throw new IOException("already closed");
        closed = true;
    }

    @Override
    public int read() throws IOException {
        int count = inputStream.read();
        if (count > 0) progress += count;
        lastUpdate = maybeUpdateDisplay(name, progress, lastUpdate, size);
        return count;
    }@Override
    public int read(byte[] b, int off, int len) throws IOException {
        int count = inputStream.read(b, off, len);
        if (count > 0) progress += count;
        lastUpdate = maybeUpdateDisplay(name, progress, lastUpdate, size);
        return count;
    }

    /**
     * This is on reserach to show a progress bar
     * @param name
     * @param progress
     * @param lastUpdate
     * @param size
     * @return
     */
    static long maybeUpdateDisplay(String name, long progress, long lastUpdate, long size) {
        /* if (Config.isInUnitTests()) return lastUpdate;
        if (size < B_IN_MB/10) return lastUpdate;
        if (progress - lastUpdate > 1024 * 10) {
            lastUpdate = progress;
            int hashes = (int) (((double)progress / (double)size) * 40);
            if (hashes > 40) hashes = 40;
            String bar = StringUtils.repeat("#",
                    hashes);
            bar = StringUtils.rightPad(bar, 40);
            System.out.format("%s [%s] %.2fMB/%.2fMB\r",
                    name, bar, progress / B_IN_MB, size / B_IN_MB);
            System.out.flush();
        }*/
        System.out.println("name " + name + "  progress " + progress + " lastUpdate " + lastUpdate + " " + "sie " + size);
        return lastUpdate;
    }
}

但这不能正常工作。它立即打印到文件大小,如下所示:

name test  progress 4096 lastUpdate 0 sie 30489
name test  progress 8192 lastUpdate 0 sie 30489
name test  progress 12288 lastUpdate 0 sie 30489
name test  progress 16384 lastUpdate 0 sie 30489
name test  progress 20480 lastUpdate 0 sie 30489
name test  progress 24576 lastUpdate 0 sie 30489
name test  progress 28672 lastUpdate 0 sie 30489
name test  progress 30489 lastUpdate 0 sie 30489
name test  progress 30489 lastUpdate 0 sie 30489

而且实际上传需要更多时间(打印行后超过 10 倍)。

我应该怎么做才能获得真实的上传状态?


我通过使用下面的代码得到了问题的答案,这是获得真实进度状态的最佳方法

ObjectMetadata metadata = new ObjectMetadata();
metadata.setContentType(mpf.getContentType());

String key = Util.getLoginUserName() + "/"
        + mpf.getOriginalFilename();
metadata.setContentLength(mpf.getSize());
PutObjectRequest putObjectRequest = new PutObjectRequest(
                Constants.S3_BUCKET_NAME, key, mpf.getInputStream(),
                metadata)
        .withStorageClass(StorageClass.ReducedRedundancy);

putObjectRequest.setProgressListener(new ProgressListener() {
        @Override
        public void progressChanged(ProgressEvent progressEvent) {
            System.out.println(progressEvent
                    .getBytesTransfered()
                    + ">> Number of byte transfered "
                    + new Date());
            progressEvent.getBytesTransfered();
            double totalByteRead = request
                    .getSession().getAttribute(
                                                    Constants.TOTAL_BYTE_READ) != null ? (Double) request
                                            .getSession().getAttribute(Constants.TOTAL_BYTE_READ) : 0;

            totalByteRead += progressEvent.getBytesTransfered();
            request.getSession().setAttribute(Constants.TOTAL_BYTE_READ, totalByteRead);
            System.out.println("total Byte read "+ totalByteRead);

            request.getSession().setAttribute(Constants.TOTAL_PROGRESS, (totalByteRead/size)*100);
        System.out.println("percentage completed >>>"+ (totalByteRead/size)*100);   
        if (progressEvent.getEventCode() == ProgressEvent.COMPLETED_EVENT_CODE) {
            System.out.println("completed  ******");
        }
    }
});
s3Client.putObject(putObjectRequest);

我以前的代码的问题是,我没有在元数据中设置内容长度,所以我没有获得真正的进度状态。以下行是从 PutObjectRequest 类 API 复制的

构造一个新的 PutObjectRequest 对象,将数据流上传到指定的存储桶和密钥。构建请求后,用户还可以选择指定对象元数据或预设 ACL。

数据流的内容长度必须在对象元数据参数中指定; Amazon S3 要求在上传数据之前传入它。未能指定内容长度将导致输入流的全部内容在内存中本地缓冲,以便可以计算内容长度,这可能会导致负面性能问题。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何使用Java获取上传到Amazon S3的文件的进度状态 的相关文章

随机推荐

  • a4j:使用 JSF 2 找不到支持标记

    只是想集成这个命令Link
  • 选择 COUNT 中的最大值

    我有一张桌子 很好 它包含一列 app rate unit 类型 nvarchar 我的目标是计算表中每个不同值的数量 并让 DBMS MS Server 2005 为我提供出现次数最多的值 这是我的代码 SELECT MAX app ra
  • OpenCV - 使用倾斜角度(倾斜)调整照片

    I have a camera pointing at a Zen Garden from above However the camera is fixed on the side rather than directly above t
  • 连接到离线 Wi-Fi 并继续使用移动数据(也适用于所有其他应用程序)

    我有一个应用程序需要通过 Wi Fi 连接到硬件 为此 硬件提供了离线 Wi Fi 热点 热点的 DHCP 不会为我们提供网关或 DNS 因此我们立即知道它仅供离线使用 最终用户在工作时必须始终保持 Wi Fi 连接 以便接收传感器数据并在
  • MomentJS/Date对象默认UTC

    我在我的 Angular 项目中使用 MomentJS 并且在不同的日期时区方面遇到了很多问题 我的应用程序不应该考虑任何时区 但是我的后端 api 和前端之间存在这种混乱 当我将标准时刻对象发送到 c 后端时 它默认将其转换为 UTC 并
  • 如何回滚 Slick 3 + Specs2 的集成测试?

    我想为运行流畅的服务编写一些集成测试 然后通过回滚事务来清理 postgresql 数据库 但我没有找到一种方法来做到这一点 我知道我可以测试组合在一起的 DBIO 对象并将它们回滚 但如果我想在更高的抽象级别进行测试 这似乎是不可能的 在
  • 结果两边的括号在 return 语句中重要吗?

    函数内这两个语句有区别吗 bool returnValue true Code that does something return returnValue 和这个 bool returnValue true Code return ret
  • NoClassDefFoundError 错误编码

    我正在尝试在 Spring Boot 应用程序中运行 JUnit 测试 但收到如下所示的 NoClassDefFoundError 错误 spring boot starter parent 和 spring boot starter te
  • 2020 年 11 月 1 日 /“帐户保留”:是否必须向“帐户保留”用户显示解释性消息? [关闭]

    Closed 这个问题不符合堆栈溢出指南 目前不接受答案 有提到here要求在 2020 年 11 月 1 日之前对 账户持有 状态进行适当管理 医生说here 当用户进入帐户保留状态时 您应该利用实时开发者通知来告知您的用户为什么暂停对订
  • 从 Angular 2 发送电子邮件

    如何从 Angular 2 应用程序发送电子邮件 我在 firebase 上托管一个 Angular 2 应用程序 我想通过电子邮件发送联系表格 理想情况下 我的解决方案将使用 Nodejs 但我愿意使用任何能够正确完成工作的东西 以下是我
  • 使用“for”循环迭代字典

    d x 1 y 2 z 3 for key in d print key corresponds to d key Python 如何识别它只需要读取key从字典里 是key一个特殊的关键字 或者只是一个变量 key只是一个变量名 for
  • html 标签上的 Jsoup 属性删除

    我有一个问题 我想过滤某些可能包含 html 的文本 我使用 jsoup 将标签列入白名单并清理标签 效果非常好 我唯一的问题是某些标签可以包含属性 主要是样式或类 但也可能有不同的属性 名称 目标等 在清理时这不是问题 因为它们被很好地剥
  • C#:获取斯堪的纳维亚语言的字母?

    有没有办法获取语言中的字母 我想做分页 我想显示例如字母表的最后 7 个字母 对于荷兰语字母表 t z 是最后 7 个字母 但对于瑞典语字母表 它是 w 即 w x y z 当我将其作为输入时 对于 正常 a z 字母表 我可以生成 使用
  • C、C++ 或 Fortran 中的多元正态 cdf [关闭]

    Closed 此问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 目前不接受答案 是否有开源软件可以计算 C C 或 Fortran 中高斯分布的多变量 维度大于 3 不是二变量或三变量 数值 cdf 我相信 IMSL 能做到 h
  • Python (Flask) 为 Angular 项目的 index.html 文件提供服务

    有谁知道如何使用 Flask 提供 Angular 单页应用程序 我在提供默认路由 时遇到问题 该路由应该加载index html 和相关组件 这是我的烧瓶功能 app route def hello world return send f
  • 旋转自定义 UITableViewCell

    我有一个自定义 UITableViewCell 其中包含多个 UIButton 每个按钮的框架位置都相对于单元格宽度 我设置了 autoresizingMask UIViewAutoresizingFlexibleWidth 这样当应用程序
  • 将矩阵 R 中的所有元素相加

    我正在尝试添加矩阵中的所有元素 这是我的矩阵的示例 实际矩阵更大 m matrix c 528 479 538 603 nrow 2 ncol 2 m A B male 528 538 female 479 603 我正在尝试这样做 sum
  • React-native 中“不存在捆绑包 URL”是什么意思?

    当我运行react native项目时 出现错误no bundle URL present 但我不知道自己犯了什么错误 我很困惑 解决错误No bundle URL present by 在项目根目录中运行以下命令来删除 iOS 构建目录
  • 允许在运行时不动态分配数组大小吗? [复制]

    这个问题在这里已经有答案了 我已经使用 C 几年了 今天我看到了一些代码 但这怎么可能是完全合法的呢 int main int argc char argv size t size cin gt gt size int array size
  • 如何使用Java获取上传到Amazon S3的文件的进度状态

    我正在使用 Java 将多个文件上传到 Amazon S3 我使用的代码如下 MultipartHttpServletRequest multipartRequest MultipartHttpServletRequest request