程序员经验分享-hwhale

使用具有正斜杠的密钥连接到 s3 接收器时出现无效主机名错误

2024-03-12

我有一个forward slash在 aws 密钥中。

当我尝试连接到 s3 接收器时

Caused by: java.lang.IllegalArgumentException: Invalid hostname in URI s3://xxxx:xxxx@jelogs/je.1359961366545
    at org.apache.hadoop.fs.s3.S3Credentials.initialize(S3Credentials.java:41)

当我用正斜杠编码时%2F, I get 

The request signature we calculated does not match the signature you provided. Check your key and signing method.

我应该如何编码我的密钥。


samthebest 解决方案有效，您只需在按键周围添加“”即可。这里是如何使用它：

hadoop distcp -Dfs.s3a.awsAccessKeyId="yourkey" -Dfs.s3a.awsSecretAccessKey="yoursecret" <your_hdfs_path> s3a://<your-bucket>
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

amazonwebservices

amazons3

flume

使用具有正斜杠的密钥连接到 s3 接收器时出现无效主机名错误 的相关文章

  • 公共存储桶的 S3 CORS 策略

    这似乎很容易 但我不知道我错过了什么 我有一个公共存储桶 其中包含从我的网站获取的 js 脚本 我注意到我没有发送Origin标头到 S3 这不是必需的 并且无需任何 CORS 配置即可正常工作 更重要的是 即使我手动将 Origin 标头

  • Redshift Serverless 上的关系 stl_load_errors 权限被拒绝

    我使用 Amazon Redshift Serverless 和查询编辑器 v2 但在用户权限方面遇到问题 在S3中导入数据 csv 时出现以下错误 ERROR Load into table x failed Check sys load

  • 是否可以使用 S3 进行 Flash 伪流？

    我一直在使用 S3 来存储和提供 FLV 和 MP4 视频 它效果很好 但内容是渐进下载的 我想知道是否有可能让所谓的 伪流 与 S3 一起使用 伪流允许观看者在下载完整视频之前在视频中向前搜索 并仅将必要的位发送到 Flash 播放器 我

  • 迭代亚马逊S3上文件夹中的对象

    我们有一个应用程序 用户可以创建自己的网页并托管它们 我们使用 S3 来存储静态页面 在这里 由于我们每个用户有 100 个存储桶的限制 我们决定为每个用户使用文件夹桶内的用户 现在 如果用户想在他的域上托管他的网站 我们会向他询问域名 当

  • 更改 Amazon RDS MYSQL Linux 服务器的 innodb_log_file_size 变量值

    我们正在使用 Amazon RDS linux 服务器作为 MYSQL 更改 my cnf 文件变量值的方法是什么 我正在尝试更改 innodb log file size 变量 您能告诉我哪一个是最好的改变方式吗 所以请帮我解决这个问题

  • 使用AWS SDK将文件上传到存储桶中的特定文件夹

    我正在使用节点开发人员工具包将图像上传到 AWS S3 const aws require aws sdk const s3Bucket process env S3 BUCKET const s3 new aws S3 signature

  • 在中止部署期间，某些实例可能已部署新的应用程序版本

    我正在尝试将 ASP NET 应用程序部署到 AWS 当我按下部署按钮时出现错误 在中止部署期间 某些实例可能已部署新的应用程序版本 为确保所有实例运行相同版本 请重新部署适当的应用程序版本 我不知道我在哪里犯了错误以及出了什么问题 任何意

  • 为 Flume-ng 编写自定义 HTTPSource 处理程序

    是否有任何资源可以帮助我为 Flume ng 的 HTTPSource 编写自定义处理程序 我阅读了文档 其中有一个 Json 示例处理程序 但我想知道是否有人需要编写一个处理程序来从 XML 消息正文创建 Flume 事件 HttpSou

  • Amazon VPC NACL 默认规则评估顺序

    据我了解 NACL 网络访问控制列表 就是子网防火墙 我试图了解创建 NACL 时的默认值 规则 100 默认情况下允许来自所有 IP 的所有端口 否则 一切都被否定 那么 底线是 是全部允许还是全部拒绝 我知道根据 AWS 最佳实践 默认

  • 不活动后自动“停止”Sagemaker 笔记本实例？

    我有一个 Sagemaker Jupyter 笔记本实例 我一直错误地将它留在网上过夜 不必要地花费了金钱 当没有活动 例如 1 小时 时 是否有任何方法可以自动停止 Sagemaker 笔记本实例 或者我必须制作一个自定义脚本 您可以使用

  • 如何在S3中存储数据并允许用户使用rails API / iOS客户端以安全的方式访问？

    我是编写 Rails 和 API 的新手 我需要一些有关 S3 存储解决方案的帮助 这是我的问题 我正在为 iOS 应用程序编写一个 API 用户在 iOS 上使用 Facebook API 登录 服务器根据 Facebook 向 iOS

  • 如何强制send_data在浏览器中下载文件？

    好吧 我的问题是我正在使用send data on my Rails 3应用程序向用户发送文件AWS S3类似的服务 Base establish connection access key id gt my key secret acce

  • 将文件从 CodeCommit 部署到 S3

    我想将推送到 CodeCommit 存储库中的某些文件部署到 S3 存储桶中 我正在尝试使用存储库上的 Lambda 触发器来执行此操作 但是 我无法获取提交中更改的文件列表 也无法使用 AWS CodeCommit API 从 CodeC

  • 基于 SQS 队列大小的自动缩放

    我已将这些命令组合在一起 以根据 SQS 队列大小自动缩放 EC2 实例 我已运行所有命令 我的队列有 10 条消息 但尚未启动单个实例 我想弄清楚我的 cloudwatch 警报正在侦听哪个 SQS 队列 此外 我们还感谢任何有助于识别问

  • 关于 S3 文件传输的权限

    我正在使用 S3TransferManager Sample 进行测试 我创建了Cognito并设置了IAM并最后更改了constants swift文件 我上传没有问题 但下载失败 错误信息是 下载失败 错误域 com amazonaws

  • 如何使用nodejs/aws-sdk将base64编码的pdf直接上传到s3？

    我正在尝试使用以下代码将 base64 编码的 pdf 上传到 S3 而无需将文件写入文件系统 const AWS require aws sdk exports putBase64 async object name buffer buc

  • 如果 AWS API 请求失败，我如何调试我需要哪些权限？

    我正在使用 Terraform 在 AWS 上配置一些资源 运行 Terraform 的 计划 步骤失败 并出现以下模糊错误 例如 Error Error loading state AccessDenied Access Denied s

  • 由于命名约定，使用 DynamoDB AWS SDK [无哈希键映射] 时出错

    在使用 AWS JAva SDK 时 为了定义 DynamoDBHashKey 我们使用 DynamoDBHashKey 注释 奇怪的是 如果我使用如下注释 DynamoDBHashKey String Abc 代替 DynamoDBHas

  • 创建 CloudFront Distribution 时出现 Crypp CloudFormation 失败

    我设置了一个 CloudFormation 模板来跟踪 CloudFront 分发等 设置完毕后 我创建了一个AWS CertificateManager Certificate and an AWS CloudFront Distribu

  • 从 Flask 中的 S3 返回 PDF

    我正在尝试在 Flask 应用程序的浏览器中返回 PDF 我使用 AWS S3 来存储文件 并使用 boto3 作为与 S3 交互的 SDK 到目前为止我的代码是 s3 boto3 resource s3 aws access key id

随机推荐

热门标签