使用 s3cmd 将小文件上传到 s3 时出错?

2023-12-15

我遇到一个不寻常的错误:我的文件似乎太小,无法上传到 s3!

我有一个未上传的小日志文件:

s3cmd put log.txt s3://MY-BUCKET/MY-SUB-BUCKET/
ERROR: S3 error: Access Denied

但是当我这样做时:

yes | head -n 10000000 >> log.txt
s3cmd put log.txt s3://MY-BUCKET/MY-SUB-BUCKET/
# this works for some reason.

这个神奇的数字似乎是 15MB,此时 s3cmd 开始进行分段上传。


我遇到了同样的问题,显然需要将以下策略显式添加到 IAM 用户策略中。由于某些奇怪的原因,需要为小文件设置此值,但不需要为大文件设置。

"s3:GetBucketLocation"

哇,我花了三个小时才弄清楚这一点。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 s3cmd 将小文件上传到 s3 时出错? 的相关文章

  • Amazon S3 无法通过 Cloudfront 上传文件

    我想通过 Cloudfront 使用签名 URL 将文件上传到 S3 Cloudfront 行为中允许 HTTP PUT 桶策略 Sid 2 Effect Allow Principal AWS arn aws iam cloudfront
  • 关于 S3 文件传输的权限

    我正在使用 S3TransferManager Sample 进行测试 我创建了Cognito并设置了IAM并最后更改了constants swift文件 我上传没有问题 但下载失败 错误信息是 下载失败 错误域 com amazonaws
  • 在 Amazon Redshift COPY 命令中转义分隔符

    我正在将数据从 Amazon S3 提取到 Amazon Redshift 中的表中 该表包含多个列 其中某些列数据可能包含特殊字符 复制命令有一个选项称为Delimiter我们可以在将数据拉入表时指定分隔符 问题有2个方面 当我导出时 u
  • S3 不返回 Access-Control-Allow-Origin 标头?

    我无法强制 S3 在从存储桶返回的所有对象上设置 CORS 标头 尽管启用了 CORS 但由于客户端 S3 上传正在工作 返回的对象没有 CORS 标头 我启用的策略是
  • 将 BufferedImage 对象作为文件保存到 Amazon S3

    我目前使用以下方法将文件上传到 S3 File file new File my file path AmazonS3 s3 new AmazonS3Client new PropertiesCredentials cred s3 putO
  • XCode 7 中的 AWSS3TransferManagerUploadRequest

    我今天升级到 Xcode 7 Swift 2 0 我的项目正在使用 CocoaPods 我正在 POD 文件中导入所有与 AWS 相关的文件 我已经设置了桥接标头 并导入了 Amazon 告诉我的所有文件 在升级到 Swift 2 0 之前
  • 使用 Ruby aws-sdk 跟踪文件到 S3 的上传进度

    首先 我知道SO中有很多与此类似的问题 在过去的一周里 我读了大部分 如果不是全部 但我仍然无法让这项工作为我工作 我正在开发一个 Ruby on Rails 应用程序 允许用户将 mp3 文件上传到 Amazon S3 上传本身工作正常
  • 如何在AWS策略中提供多个StringNotEquals条件?

    我正在尝试编写 AWS S3 存储桶策略 拒绝所有流量 除非来自两个 VPC 的流量 我正在尝试编写的策略如下所示 两者之间有逻辑与StringNotEquals 除非这是无效的政策 Version 2012 10 17 Id Policy
  • AWS S3 公共对象与私有对象?

    回到 S3 我的存储桶中有图像的 URL 我将在我的应用程序中呈现这些图像 但它们被设置为私有 当我尝试单击该链接时 它显示 访问被拒绝 当我将链接的设置更改为公共时 它会通过 但是我读到公共访问并不是最安全的事情 所以这本质上是一个由两部
  • 如何中止/停止正在进行的 Amazon AWS s3 上传

    我正在使用 aws sdk 的 javascript 版本将文件上传到亚马逊 s3 存储桶 code AWS config update accessKeyId access key secretAccessKey secret key A
  • 使用 AWS Java SDK 为现有 S3 对象设置 Expires 标头

    我正在更新 Amazon S3 存储桶中的现有对象以设置一些元数据 我想设置 HTTPExpires每个对象的标头以更好地处理 HTTP 1 0 客户端 我们正在使用AWS Java SDK http aws amazon com sdkf
  • 如何向 boto 中的联合用户授予 s3 存储桶的权限?

    尝试从文档中找出答案 但无法创建可以访问 s3 存储桶的联合用户 首先是进口 gt gt gt from boto s3 connection import S3Connection gt gt gt from boto sts impor
  • Amazon s3 – 403 禁止使用正确的存储桶策略

    我正在尝试使用以下存储桶策略 使存储在 s3 存储桶中的所有图像可供公开读取 Id Policy1380877762691 Statement Sid Stmt1380877761162 Action s3 GetObject Effect
  • AWS boto3 page_iterator.search 无法将 datetime.datetime 与 str 进行比较

    尝试捕获 s3 上的增量文件 上次处理后创建的文件 为此 请使用 boto3 过滤迭代器通过查询 LastModified 值而不是返回所有文件列表并在客户端站点上进行过滤 根据http jmespath org http jmespath
  • JavaScript 可以检测用户的浏览器是否支持 gzip 吗?

    我可以使用 JavaScript 来检测用户的浏览器是否支持 gzip 压缩内容 客户端 而不是 Node js 或类似内容 我正在尝试支持以下边缘情况 有很多可能的文件可以加载到特定的 Web 应用程序上 最好在应用程序运行时根据需要加载
  • 使用 Django 将文件异步上传到 Amazon S3

    我使用此文件存储引擎在上传文件时将文件存储到 Amazon S3 http code welldev org django storages wiki Home http code welldev org django storages w
  • 尝试访问 iframe 内容(不同子域);尝试设置 CORS

    我将文件托管在domain com 其中包含一个 iframe 其文档托管在s3 domain com 我正在尝试访问 iframe 的内容 但收到以下信息 不安全的 JavaScript 尝试通过 URL 访问框架http s3 doma
  • 将大型高清视频文件上传到 Amazon Web Services S3

    最终目标 将大型视频文件 内容制作者将是专业用户 因此他们的一点额外工作并不是一个巨大的负担 然而 对他们 和我 来说 保持尽可能简单是理想的 如果可以使用网络表单来启动那就最好了 内容制作者不会有数百个 因此可以投入一些额外的时间或精力为
  • S3 选择检索 CSV 中的标头

    我尝试使用以下代码从存储在 S 存储桶中的 CSV 中获取记录子集 s3 boto3 client s3 bucket bucket file name file sql stmt SELECT S FROM s3object S LIMI
  • 在S3客户端android中制作私有图像的ImageGallery

    我正在尝试在 Android 应用程序中创建 S3 Bucket 的 imageGallery 我的图像是私人的 所以我不会为每个图像提供任何特定的链接 对于此类私人图像 亚马逊有一个链接生成器 s3Client generatePresi

随机推荐

  • C++ 模板 - 指定容器类型及其所持有的容器元素类型

    我希望能够创建一个函数 在其中指定一个参数以同时具有模板化容器和该容器的模板化元素类型 这可能吗 我收到 错误 C2988 无法识别的模板声明 定义 等信息 这是有问题的函数 template
  • 如何计算卷积神经网络的参数个数?

    我正在使用 Lasagne 为 MNIST 数据集创建 CNN 我密切关注这个例子 使用 Python 进行卷积神经网络和特征提取 我目前拥有的 CNN 架构 不包含任何 dropout 层 是 NeuralNet layers input
  • Python如何读取和解释源文件?

    假设我运行一个 Python 2 7 尽管我不确定这在这里有什么不同 脚本 我没有终止脚本 而是退出 或者以某种方式切换回我的编辑环境 然后我可以修改脚本并保存它 但这不会改变仍在运行的脚本中的任何内容 Python 在启动时是否将所有源文
  • 从数据库 SQL oracle 保存和获取 blob 时出错

    我试图将 CLOB 保存到数据库中并恢复它 但我收到 SQLException Caused by java sql SQLException Lob read write functions called while another re
  • 在 iPhone 上混合音频

    我有许多静态音频文件 我希望能够动态地混合在一起并在 iPhone 上播放 不是一次性全部播放 最常见的情况是将两个或三个音频流混合到一个流中 我该用什么 我知道 OpenAL 和音频单元可能有用 但哪一个呢 为了快速启动 是否有具体的代码
  • 用笑话和酶在 React 中测试表单

    我完全迷失了尝试测试用 React 制作的简单表单 我如何知道提交按钮是否正常工作 经过一番研究后 我认为这样做的方法是创建一个模拟函数 然后检查它是否被调用 但我很确定我做的完全错误 onObjSubmit event event pre
  • Tensorflow lite 对象检测示例中相机的屏幕尺寸

    在tensorflow lite示例对象检测中 相机不会拍摄整个屏幕 而只会拍摄一部分 我试图在 CameraActivity CameraConnectionFragment 和 Size 类中找到一些常量 但没有结果 所以我只是想要一种
  • 在 R 中查找并替换两个字符串之间的文本

    我在一些 Rscripts 中创建了一些关于 R 的教程 我需要一个讲义集 HS 和一个没有答案的编码集 CS 学生可以在其中编码 我需要一些帮助正则表达式来搜索 HO 中的答案部分 以便我可以将其从 CS 中删除 在 HS 中 我在答案之
  • Django 的 call_command 因缺少必需参数而失败

    我想从我的一个测试中调用 Django 管理命令 我在用着django core management call command为了这 但这不起作用 我有一个带有 4 个必需参数的命令 当我调用它时 它抱怨所有参数都丢失了 即使我正在传递它
  • 禁用模块时 Magento 错误

    我创建了一个模块 然后使用升级脚本添加多选属性 该属性使用 source 动态获取其值 代码如下 添加属性 installer Mage getResourceModel catalog setup catalog setup instal
  • 如何在 swift 项目中集成 PayUMoney iOS SDK [关闭]

    Closed 这个问题需要多问focused 目前不接受答案 我已从 PayUMoney 网站下载 PayUMoney iOS SDK 我现在无法将 SDK 与我的 swift 项目集成 这个答案取自 PayU 文档本身 我在这里回答只是因
  • ng-show 不适用于数据表列

    我正在使用数据表以角度创建一个表 我使用了范围中的一个值 并将该值与收到的数据进行比较 columns data null render function data type row var roleid angular element T
  • 如何在 NuxtJS 中构建 SEO 友好的路线?

    我是 NuxtJS 的新手 我的页面由导航栏 菜单 列出所有文章的博客页面和几个主要是静态的页面组成 就像大多数公司网站一样 我正在从 Strapi API 检索数据 在该 API 中我只能通过 ID 获取单个条目 我必须做什么 当用户单击
  • FxCop:用于检查程序集信息值的自定义规则

    有没有一种相当简单的方法让 FxCop 检查我的所有程序集是否声明了特定的属性值 我想确保每个人都更改了创建项目时的默认设置 assembly AssemblyCompany Microsoft fail assembly Assembly
  • 如何解决我的线性模型上的“秩不足拟合可能会产生误导性错误”?

    当我使用我的模型进行一些预测时遇到问题 R 显示此消息Warning message prediction from a rank deficient fit may be misleading 我该如何解决 我认为我的模型是正确的 但预测
  • 使用 Google Apps 脚本库

    我已阅读所有有关管理和创建库的 Google 文档 但我仍然不知道它们是否适合我要解决的问题 我知道如何保存独立脚本的版本 我知道如何通过脚本编辑器将库添加到电子表格中 但我不明白 非常简单 如何在新电子表格中触发库脚本 我有一个电子表格
  • 从 AJAX 响应动态创建复选框

    我正在创建一个涉及引导程序的网站 并希望在模式对话框中显示复选框 计算机名称 列表以供用户选择 我有一个 AJAX 调用和响应 它返回我想要的信息 但我不知道如何正确显示它 基本上 我收到的返回列表中的每个项目 我想将一个复选框附加到模式中
  • 使用 onclick 选项时,Ajax 无法使用 HTML 表单中的提交按钮

    当我仅使用输入文本字段时 下面的代码有效 但当我使用提交按钮时 它不起作用 我不懂jquery所以请解释一下
  • 如何使用任何 Linux 工具打印 FILENAME 前面的每个文件的第 n(第 5)行?

    所以我的目标是提取目录中每个文件的第五行 我的目录中有一堆扩展名 gjf 文件 第五行始终是 1 0 或 1 1 不带引号 到目前为止 我知道我可以提取这些值 但不能提取附加的文件名 这是我一直在使用的代码 awk FNR 5 gjf 1
  • 使用 s3cmd 将小文件上传到 s3 时出错?

    我遇到一个不寻常的错误 我的文件似乎太小 无法上传到 s3 我有一个未上传的小日志文件 s3cmd put log txt s3 MY BUCKET MY SUB BUCKET ERROR S3 error Access Denied 但是