我对 S3 有一些经验,并且过去使用过s3-parallel-put
将许多(数百万)个小文件放在那里。与Azure相比,S3的PUT价格昂贵,所以我正在考虑切换到Azure。
然而,我似乎无法弄清楚如何使用将本地目录同步到远程容器azure cli
。特别是,我有以下问题:
1- aws
客户端提供了一个sync
选项。有这样的选择吗azure
?
2-我可以使用以下方式同时将多个文件上传到 Azure 存储吗cli
?我注意到有一个-concurrenttaskcount
标记为azure storage blob upload
,所以我认为原则上这是可能的。
如果您更喜欢命令行并且拥有最新的 Python 解释器,Azure Batch 和 HPC 团队已经发布了一个代码示例,其中包含一些内容Python 上类似 AzCopy 的功能称为 blobxfer。这允许完全递归目录进入 Azure 存储以及将完整容器复制回本地存储。 [完全披露:我是此代码的贡献者]
回答您的问题:
- blobxfer 支持类似 rsync 的操作,对入口和出口使用 MD5 校验和比较
- blobxfer 在单个文件内和跨多个文件执行并发操作。但是,您可能希望将输入拆分到多个目录和容器中,这不仅有助于减少脚本中的内存使用量,还可以更好地分区负载
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)