使用 hyper 将块流异步写入文件

2024-01-01

我正在尝试创建一个简单的函数,使用 hyper 将远程文件下载到本地文件路径。我也需要异步写入文件(在我的例子中我使用tokio_fs为了那个原因)。这是代码:

// Parts of the code were omitted, see the playground for full source code
pub fn download_file(
    uri: Uri,
    file_location: &Path,
) -> Box<Future<Item = (), Error = DownloadFileError>> {
    let temp_dir_path = tempfile::tempdir().unwrap().into_path();
    let file_name = match file_location.file_name() {
        Some(file_name) => file_name,
        None => return Box::new(futures::failed(DownloadFileError::IncorrectFilePath)),
    };

    let temp_filepath = temp_dir_path.join(&file_name);

    let connector = HttpsConnector::new(2).unwrap();
    let client: Client<_, Body> = Client::builder().build(connector);

    let response_future = client
        .get(uri)
        .map_err(|err| DownloadFileError::GetRequest(err));

    let create_file_future =
        File::create(temp_filepath).map_err(|err| DownloadFileError::CreateFile(err));

    Box::new(
        response_future
            .join(create_file_future)
            .and_then(move |(res, file)| {
                res.into_body()
                    .map_err(|e| DownloadFileError::GetRequest(e))
                    .for_each(move |chunk| {
                        io::write_all(file, chunk)
                            .map(|_| ())
                            .map_err(|_| DownloadFileError::FileWrite)
                    })
            }),
    )
}

但是,我收到以下错误:

error[E0507]: cannot move out of captured outer variable in an `FnMut` closure
  --> src/lib.rs:79:39
   |
75 |             .and_then(move |(res, file)| {
   |                                   ---- captured outer variable
...
79 |                         io::write_all(file, chunk)
   |                                       ^^^^ cannot move out of captured outer variable in an `FnMut` closure

从概念上讲,我理解该错误的含义:FnMut通过可变引用捕获变量,我无法移动捕获的变量。但是,我不明白如何解决给出的示例中的这个问题,因为我需要将流写入由Join future.

The write_all方法从Write特征在这里可以工作,因为它将文件作为可变引用,但问题是它在同一个线程上进行写入。


你不想使用for_each. io::write_all https://docs.rs/tokio-io/0.1.10/tokio_io/io/fn.write_all.html消耗目标和缓冲区以换取未来,该未来将在完成时返回目标和缓冲区。您可以将其与Stream::fold https://docs.rs/futures/0.1.25/futures/stream/trait.Stream.html#method.fold重用该文件:

.fold(file, |file, chunk| {
    io::write_all(file, chunk)
        .map(|(f, _c)| f)
        .map_err(|_| DownloadFileError::FileWrite)
})
.map(drop)

也可以看看:

  • 如何将 futures::Stream 写入磁盘而不先将其完全存储在内存中? https://stackoverflow.com/q/53245412/155423
  • 如何将从 S3 使用 Rusoto 下载的文件保存到我的硬盘? https://stackoverflow.com/q/51287360/155423
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 hyper 将块流异步写入文件 的相关文章

  • 将多个参数传递给concurrent.futures.Executor.map?

    The concurrent futures Executor map http docs python org py3k library concurrent futures html concurrent futures Executo
  • 在 showModalBottomSheet 外部单击时,如何控制传递给 Navigator.pop() 的内容?

    我启动一个模态底部工作表 然后使用返回的数据作为其未来 var modalFuture showModalBottomSheet modalFuture then data Use data 我通过以下方式从模态小部件返回数据 Naviga
  • Rust 双与号,&&

    我看到一些代码如下所示 fn test lt a gt a mut a str 我知道 a 是一生 而 是引用 但是我很难理解双重引用 根据我的理解 引用是一个指针 那么 是指向另一个指针还是其他指针的指针 根据我的理解 引用是一个指针 是
  • for 循环如何借用迭代器?

    一个人怎样才能拥有一个for in循环借用它正在操作的迭代器 例如 let x vec 1 2 3 4 let i x iter for a1 in i break iterate over just one i for a2 in i b
  • 如何将对堆栈变量的引用传递给线程?

    我正在编写一个 WebSocket 服务器 其中 Web 客户端连接以与多线程计算机 AI 下棋 WebSocket 服务器想要传递一个Logger对象到 AI 代码中 这Logger对象会将日志行从 AI 传送到 Web 客户端 这Log
  • 货运公司如何决定是否重建部门?

    我正在考虑跳过货物中的依赖关系构建步骤 我有一个简单的项目 使用 3 个板条箱作为依赖项 在Cargo toml 我使用一次构建项目cargo build release 现在我有另一个项目 它使用其中提到的相同依赖项Cargo toml文
  • 如何将异步函数存储在结构中并从结构实例调用它?

    我正在尝试用新的方法来实现这一目标async await句法 std future Futures 和最新版本的 Tokio 我正在使用东京0 2 0 alpha 4和铁锈1 39 0 nightly 我尝试过的不同事情包括 using B
  • 是否存在具有单个强所有者和多个弱引用的共享指针?

    我正在寻找类似于的智能指针Arc Rc只不过它不允许共享所有权 我想要尽可能多的rc Weak我需要的参考资料 但我只想one强引用 又称所有者 我想通过类型系统来强制执行这一点 Arc Rc可以克隆 并且可以在多个地方拥有它们 滚动我自己
  • 为什么 rust 'pub fn func(&'a mut self)' 在运行后被认为是“可变借用”?

    tl dr given pub fn func a mut self 为什么是self被认为是 可变借用 after func已经跑了 给出以下最小可行示例 pub struct Struct1 lt a gt var a u8 impl
  • Await.ready 和 Await.result 的区别

    我知道这是一个开放式问题 我深表歉意 我理解了Await ready回报Awaitable type while Await result回报T但我还是让他们感到困惑 两者有什么区别 一个是阻塞的 另一个是非阻塞的 它们都会阻塞直到 fut
  • 在 Rust 中,我用什么来与多个线程和一个 writer 共享一个对象?

    当对象有时可能由一个所有者写入时 在多个线程之间共享公共对象的正确方法是什么 我尝试创建一个ConfigurationTrait 对象具有多种获取和设置配置键的方法 我想将其传递给可以读取配置项的其他线程 如果每个人都能写和读 那就加分了
  • 如何操作 Rust 数组的 2 个可变切片?

    我有一个函数需要对单个数组的两个部分进行操作 目的是能够建立一个 nostd 分配器 可以将更大数组的变量切片返回给调用者 并保留数组的其余部分以供将来分配 这是失败的示例代码 fn split lt a gt mut item a mut
  • 如何打印带有前导零的二进制整数?

    我正在做一些摆弄 我想打印我的 u16 中的所有位 let flags 0b0000000000101100u16 println flags b flags 这打印flags 0b101100 我如何让它打印flags 0b0000000
  • 如何使用自定义 llc 编译 Rust 程序?

    我有一个自定义 LLVM 后端 并且想为该自定义 nostd 目标交叉编译 Rust 我想分两步编译 Rust 程序 Using rustc生成 LLVM IR 用我自己的opt and llc将 LLVM IR 转换为机器代码 我尝试使用
  • 我如何从 Rust 的 Vec 中获取项目?

    我正在寻找一种方法consumes a Vec并返回一个元素 无需恢复的开销Vec的不变量的方式remove and swap remove do fn take
  • 有没有办法以数组的形式访问结构体字段?

    我是 Rust 新手 正在尝试弄清楚这是否可行 因此 有时函数 方法以数组形式访问数据会更干净 有时按名称访问数据会更干净 在 Rust 中我可以定义这样的东西 struct Vector3D x f64 y f64 z f64 coord
  • D 中的多线程与 for 循环

    我知道 Rust 可以使用轻量级线程运行循环 就像是 use task spawn fn main for 100 times do spawn io println Hello 我怎样才能在D中做到这一点 相关API文档 标准并行度 ht
  • 带填充零的十六进制格式

    将整数类型格式化为十六进制字符串时 我无法让它用零填充数字 println 4x 0x0001 as u16 gt 0x1 but expected 0x0001 println 02x 0x0001 as u16 gt 0x1 same
  • 如何匹配特质实现者

    我有一个由某些结构实现的特征 我想编写一个模式匹配 可以处理每种可能的情况 trait Base struct Foo x u32 struct Bar y u32 impl Base for Foo impl Base for Bar f
  • Rust 中为什么有 mod 关键字?

    看完之后this https doc rust lang org book crates and modules html 我想知道为什么有一个mod关键字和mod rs 我假设目录层次结构也可以描述模块 必须显式声明模块有几个原因 模块可

随机推荐