程序员经验分享-hwhale

华为云OBS数据桶使用

2023-05-16

华为云OBS数据桶的使用模式和AWS类似，可以参考这个链接

入门总览_对象存储服务 OBS_快速入门_华为云 (huaweicloud.com)

概览

OBS最基础的入门操作包括创建桶、上传对象和下载对象，通过这三个操作就能完成数据上传和下载。

图1为OBS大致的入门使用流程，实际上针对不同的使用方式有细微的差异，具体差异请参考对应使用方式的指导文档，本入门指导旨在帮助您对OBS的入门操作有个初步的认识。

图1 入门流程

  1. 注册华为云，为帐号充值等，请参见步骤一：准备工作。
  2. 除了控制台以外，通过其他方式访问OBS均需要提前获取访问密钥（AK/SK）用以鉴权，请参见步骤二：获取访问密钥（AK/SK）。
  3. 使用SDK、API和obsutil工具时需要提前获取终端节点（Endpoint），请参见步骤三：获取终端节点（Endpoint）。
  4. 使用工具（OBS Browser+、obsutil）和SDK前，需要先下载对应工具或SDK源码，并进行初始化配置，请参见步骤四：下载工具并初始化。
  5. 桶是OBS中存储对象的容器，在上传对象前需要先创建桶，请参见步骤五：创建桶。
  6. 将数据上传至OBS，请参见步骤六：上传对象。
  7. 从OBS中下载数据，请参见步骤七：下载对象。

具体操作主要参考这里的对象管理和桶管理：入门总览_对象存储服务 OBS_快速入门_华为云 (huaweicloud.com)

使用obsutil批量下载数据示例

初始化配置

前提条件

  • 已下载obsutil软件包，具体请参见下载和安装obsutil。安装时注意路径不要带空格！
  • 已获取OBS当前开通的区域和终端节点地址，您可以从这里查看。例如，访问区域为华为-北京四，则实际的OBS服务地址为：https://obs.cn-north-4.myhuaweicloud.com。
  • 已获取访问密钥（AK和SK），具体操作请参见准备环境。您可以从这里进入访问密钥的管理界面。

配置方法

方式一，您可以通过config命令对obsutil进行初始化配置（关于config的详细介绍，参见更新配置文件），注意endpoint是服务地址，例如华北-北京四是https://obs.cn-north-4.myhuaweicloud.com，示例如下：

  • Windows操作系统 
    
obsutil config -i=ak -k=sk -e=endpoint
  • macOS/Linux操作系统 
    
./obsutil config -i=ak -k=sk -e=endpoint

检查连通性

配置完成后，您可以通过如下方式检查连通性，确认配置是否无误。

  • Windows操作系统 
    
obsutil ls -s
  • macOS/Linux操作系统 
    
./obsutil ls -s

根据命令回显结果，检查配置结果：

  • 如果返回结果中包含“Bucket number is:”，表明配置正确。
  • 如果返回结果中包含“Http status [403]”，表明访问密钥配置有误。
  • 如果返回结果中包含“A connection attempt failed”，表明无法连接OBS服务，请检查网络环境是否正常。

查看与下载数据

命令结构

  • Windows操作系统 
    
obsutil ls obs://bucket[/prefix] [-s] [-d] [-v] [-marker=xxx] [-versionIdMarker=xxx] [-bf=xxx] [-limit=1] [-format=default] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • macOS/Linux操作系统 
    
./obsutil ls obs://bucket[/prefix] [-s] [-d] [-v] [-marker=xxx] [-versionIdMarker=xxx] [-bf=xxx] [-limit=1] [-format=default] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

运行示例

  • 以Windows操作系统为例，运行obsutil ls obs://bucket-test -limit=10，查询桶内对象。 
    
obsutil ls obs://bucket-test -limit=10

命令结构

  • Windows操作系统
    • 下载单个对象 
      
obsutil cp obs://bucket/key file_or_folder_url [-tempFileDir=xxx] [-dryRun] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=52428800] [-versionId=xxx] [-ps=auto] [-cpd=xxx][-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
    • 批量下载对象 
      
obsutil cp obs://bucket[/key] folder_url -r [-tempFileDir=xxx] [-dryRun] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • macOS/Linux操作系统
    • 下载单个对象 
      
./obsutil cp obs://bucket/key file_or_folder_url [-tempFileDir=xxx] [-dryRun] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=52428800] [-versionId=xxx] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
    • 批量下载对象 
      
./obsutil cp obs://bucket[/key] folder_url -r [-tempFileDir=xxx] [-dryRun] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

运行示例

  • 以Windows操作系统为例，运行obsutil cp obs://bucket-test/key d:\temp\test.txt，下载单个对象。 
    
obsutil cp obs://bucket-test/key d:\temp\test.txt

Parallel:      3                   Jobs:          3
Threshold:     524288000           PartSize:      5242880
Exclude:                           Include:
VerifyLength:  false               VerifyMd5:     false
CheckpointDir: xxxx

[==========================================] 100.00% 4.86 KB/s 0s
Download successfully, 19B, obs://bucket-test/key --> d:\temp\test.txt
  • 以Windows操作系统为例，运行obsutil cp obs://bucket-test/temp d:\ -f -r，批量下载对象。-f无需确认下载，-r递归下载。 
    
obsutil cp obs://bucket-test/temp d:\ -f -r

Parallel:      3                   Jobs:          3
Threshold:     524288000           PartSize:      5242880
Exclude:                           Include:
VerifyLength:  false               VerifyMd5:     false
CheckpointDir: xxxx
OutputDir: xxxx

[======================================================] 100.00% 155.59 KB/s 0s
Succeed count is:   6         Failed count is:    0
Metrics [max cost:153 ms, min cost:129 ms, average cost:92.00 ms, average tps:17.86]
Task id is: 3066a4b0-4d21-4929-bb84-4829c32cbd0f

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

华为云OBS数据桶使用 的相关文章

  • Win下编译pycocotools的Python API

    1 下载pycocotools源码 git clone https github com cocodataset cocoapi git 2 在需要编译的python环境下进行编译 激活环境 conda activate tf20coco

  • 泥石流与滑坡的遥感解译特征

    泥石流的解译特征 标准的泥石流由三部分组成 xff1a 形成区 流通区和堆积区 xff0c 如图 3 1 其中 xff0c 堆积区是识别泥石流的重要标志 xff0c 同时也是评估灾害危害程度的重要指标 泥石流的形成区作为泥石流固体物源的集聚

  • [笔记] 代码整洁之道1：序言

    软件质量 xff0c 不但依赖于架构和管理 xff0c 而且与代码质量紧密相关 神在细节之中 建筑师Ludwig mies van der Role如是说 以小见大 xff0c 做好细节是做好整体的基础 约在1951年 xff0c 名为 全

  • [笔记] 代码整洁之道2：章1整洁代码

    泥潭 烂尾 死掉 糟糕代码的坑自不多言 xff0c 如何评估代码有多糟糕 xff1f 看WTF min 那什么是整洁代码 xff1f 易读 逻辑 干净 漂亮 舒服 学一学 xff08 美国 xff09 童子军军规 xff1a 让营地比你来时

  • [笔记] 代码整洁之道3：章2有意义的命名

    修改命名是一种低成本提升代码可读性的方法 xff0c 怎么起有意义的名呢 xff1f 参考如下方法 xff1a 名副其实 变量 函数或类的名称应该告诉你 xff0c 它为什么会存在 xff0c 它做什么事 xff0c 应该怎么用 如果连名称

  • OpenCV minAreaRect

    OpenCV Minimum Area Rectangle In the previous blog we discussed image moments and how different contour features such as

  • OpenCV错误(-215:Assertion failed) npoints ＞ 0 in function

    在使用OpenCV绘图函数时容易遇到 215 Assertion failed npoints gt 0 错误 代码如下 xff1a import numpy import cv2 mask 61 numpy zeros 4000 4000

  • 【个人成长】两个帮助你认清职场中自己位置的工具

    原文来自吴军老师的 谷歌方法论 第182封信 xff1a 两个帮助你认清自己位置的工具 当你在职场中不顺的时候可以考虑进行下自我位置评估 工具一 xff1a 主客观评价四方表 xff1a 表中的第一列自己填写 第一行填写自己的优点 成绩 贡

  • Ubuntu linux设置从当前目录下加载动态库so文件

    linux的excutable在执行的时候缺省是先搜索 lib和 usr lib这两个目录 xff0c 然后按照ld so conf里面的配置搜索绝对路径 xff0c linux缺省是不会在当前目录搜索动态库的 windows加载动态库的时

  • HTTP Get，Post请求详解

    请求类型 三种最常见的请求类型是 xff1a GET xff0c POST 和 HEAD GET xff1a 获取一个文档 大部分被传输到浏览器的html xff0c images xff0c js xff0c css 都是通过GET方法发

  • pip安装opencv出错：No module named ‘skbuild‘

    问题 xff1a pip安装opencv时出错 xff1a No module named 39 skbuild 39 解决方案一 xff08 测试通过 xff09 xff1a pip install upgrade pip 解决方案二 x

  • geoio ImportError: libpoppler.so.71: cannot open shared object file: No such file or directory

    问题 xff1a 使用conda安装gdal后 xff0c 在回滚变更环境后出错 xff1a geoio ImportError libpoppler so 71 cannot open shared object file No such

  • 开运算、闭运算及其所用

    1 开运算 开运算 61 先腐蚀运算 xff0c 再膨胀运算 xff08 看上去把细微连在一起的两块目标分开了 xff09 开运算的效果图如下图所示 xff1a 开运算总结 xff1a xff08 xff11 xff09 开运算能够除去孤立

  • Process finished with exit code 139 (interrupted by signal 11: SIGSEGV)

    在PyCharm运行Python代码运行时出现错误导致退出 xff1a Process finished with exit code 139 interrupted by signal 11 SIGSEGV 139错误是Linux错误代码

  • 深度学习优化利器：集成、知识蒸馏和自蒸馏

    为什么简单的 集成 便能够提升性能呢 xff1f 本文是对上述问题的解析 xff0c 作者解读了来自微软研究院高级研究员朱泽园博士 xff0c 以及卡内基梅隆大学机器学习系助理教授李远志的最新论文 在深度学习中理解集成 xff0c 知识蒸馏

  • 解决word无法回退及修改内容不保存问题

    如图 xff0c 撤退按钮瞬间会变灰 即便在未变灰前点击回退也不会有实际回退效果 出现这种情况很可能是模板文件出现损坏或有异常 可以通过删除模板文件让word重新自己生成模板文件来解决 操作步骤如下 xff1a step 1 xff1a 打

  • 错误：AttributeError: module ‘keras.backend.tensorflow_backend‘ has no attribute ‘_is_tf_1‘

    使用tensorflow 43 keras时出现错误 xff1a AttributeError module 39 keras backend tensorflow backend 39 has no attribute 39 is tf

  • linux 已放弃(吐核) (core dumped) 问题分析

    在运行自己写的 C 多线程程序时 xff0c 出现 xff1a 已放弃 吐核 问题 出现这种问题一般是下面这几种情况 xff1a 1 内存越界 2 使用了非线程安全的函数 3 全局数据未加锁保护 4 非法指针 5 堆栈溢出 也就是需要检查访

  • Linux apt-get 安装离线包

    问题 在一些与外网隔离的系统中无法直接通过 apt get 的方式直接安装软件包 解决方案 可以通过 apt get download 提前下载好包及相关依赖 xff0c 然后通过 dpkg i 的方式离线安装 下载依赖 PACKAGE 代

  • 解决 free(): invalid pointer: 0x00000 运行时报错

    编译成功 xff0c 运行时报错 xff1a 在使用 pytorch or tensorflow or caffe 时 xff0c 都可能存在这个问题 xff1a Error in 96 xxx 39 free invalid pointe

随机推荐

热门标签