ceph 17版本:使用cephadm部署单节点集群

2023-05-16

ceph 17版本:使用cephadm部署17.2版本的单节点集群

文章目录

  • 前言
  • 一、环境版本信息
  • 二、基础环境部署
    • 1.服务器准备
    • 2.配置DNS
    • 3.安装时间服务
    • 4.关闭防火墙
    • 5.安装docker服务
    • 5.安装lvm服务
  • 二、ceph部署
    • 1.安装cephadm
    • 2.执行bootstrap
    • 3.安装客户端软件
    • 3.增加osd
    • 4.创建存储池
    • 5.查看集群状态
  • 三、移除方式
  • 总结


前言

ceph17.2.0版本的单节点集群部署记录


一、环境版本信息

  • cephadm版本:17.2.0-0ubuntu0.22.04.2
  • ceph版本:17.2.0
  • 操作系统版本:Ubuntu 22.04.1 LTS
  • 网络:192.168.150.0/24
  • ip:192.168.150.37

二、基础环境部署

1.服务器准备

准备了一台虚拟机,挂载了3块20GB的盘作为osd介质

sda                         8:0    0   20G  0 disk 
├─sda1                      8:1    0    1M  0 part 
├─sda2                      8:2    0  1.8G  0 part /boot
└─sda3                      8:3    0 18.2G  0 part 
  └─ubuntu--vg-ubuntu--lv 253:0    0   10G  0 lvm  /
sdb                         8:16   0   20G  0 disk 
sdc                         8:32   0   20G  0 disk 
sdd                         8:48   0   20G  0 disk

2.配置DNS

cat >> /etc/systemd/resolved.conf << EOF
DNS=8.8.8.8 114.114.114.114
EOF
systemctl restart systemd-resolved.service

3.安装时间服务

sudo apt install -y chrony && sudo systemctl enable --now chronyd

4.关闭防火墙

systemctl stop ufw
systemctl disable ufw

5.安装docker服务

sudo apt-get purge docker-ce docker-ce-cli containerd.io
sudo rm -rf /var/lib/docker
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add -
add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get -y update
sudo apt-get -y install docker-ce docker-ce-cli containerd.io
systemctl status docker

5.安装lvm服务

apt install lvm2 -y

二、ceph部署

1.安装cephadm

#安装
sudo apt install -y cephadm
#安装结果
cephadm is already the newest version (17.2.0-0ubuntu0.22.04.2)

2.执行bootstrap

cephadm bootstrap --mon-ip 192.168.150.37 --cluster-network 192.168.150.0/24 --single-host-defaults

3.安装客户端软件

#安装客户端软件
apt install ceph-common
#设置mon数量
ceph orch apply mon 1
#设置mgr数量
ceph orch apply mgr 1
#查看集群状态
ceph orch ls
#输出
NAME           PORTS        RUNNING  REFRESHED  AGE  PLACEMENT  
alertmanager   ?:9093,9094      1/1  9m ago     34m  count:1    
crash                           1/1  9m ago     34m  *          
grafana        ?:3000           1/1  9m ago     34m  count:1    
mgr                             2/1  9m ago     3s   count:1    
mon                             1/1  9m ago     4s   count:1    
node-exporter  ?:9100           1/1  9m ago     34m  *          
prometheus     ?:9095           1/1  9m ago     34m  count:1

3.增加osd

#部署osd
ceph orch apply osd --all-available-devices
#查看部署结果
ceph osd status
#输出
ID  HOST     USED  AVAIL  WR OPS  WR DATA  RD OPS  RD DATA  STATE      
 0  ceph01  22.5M  19.9G      0        0       0        0   exists,up  
 1  ceph01  22.5M  19.9G      0        0       0        0   exists,up  
 2  ceph01  19.4M  19.9G      0        0       0        0   exists,up

4.创建存储池

ceph osd pool create test 64 64
ceph osd pool ls 
#输出
.mgr
test

5.查看集群状态

ceph -s

ceph -s
  cluster:
    id:     672a7e5a-9642-11ed-b356-c34fd8a37286
    health: HEALTH_OK
 
  services:
    mon: 1 daemons, quorum ceph01 (age 38m)
    mgr: ceph01.nokwhs(active, since 34m)
    osd: 3 osds: 3 up (since 119s), 3 in (since 2m)
 
  data:
    pools:   2 pools, 65 pgs
    objects: 2 objects, 577 KiB
    usage:   64 MiB used, 60 GiB / 60 GiB avail
    pgs:     65 active+clean

三、移除方式

当部署异常的时候,可以使用下面的命令删除掉集群信息重新部署

ceph orch pause
ceph fsid
cephadm rm-cluster --force --zap-osds --fsid <fsid>

总结

简单整理了一下,供以后部署时参考

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

ceph 17版本:使用cephadm部署单节点集群 的相关文章

  • Failed to start Ceph object storage daemon osd.14

    问题 xff1a ceph集群osd变为down的状态 xff0c 并且重启osd也一直失败 分析 xff1a root 64 shnode183 systemctl status ceph osd 64 14 ceph osd 64 14
  • 【测试】 FIO:ceph/磁盘IO测试工具 fio(iodepth深度)

    目录 随看随用 NAS文件系统测试 块系统测试 FIO用法 FIO介绍 FIO 工具常用参数 xff1a FIO结果说明 I O 的重放 xff08 39 录 39 下实际工况的IO xff0c 用fio 39 重放 39 xff09 fi
  • ceph delete pool

    参考 xff1a Pools Ceph Documentation 前言 xff1a 网上的写的乱七八糟不是你抄我就是我抄你 写的完全瞎扯 简直看不下去 官网截图 xff1a 准备 1 查看pool名称 ceph osd lspools 创
  • Ceph文件存储-挂载文件系统

    文章目录 1 创建文件系统1 1 方法11 2 方法2 2 挂载文件系统3 卸载 1 创建文件系统 1 1 方法1 span class token number 1 span 创建存储池 ceph osd pool create tgmf
  • ceph的一些优化

    最近一直在忙着搞Ceph存储的优化和测试 xff0c 看了各种资料 xff0c 但是好像没有一篇文章把其中的方法论交代清楚 xff0c 所以呢想在这里进行一下总结 xff0c 很多内容并不是我原创 xff0c 只是做一个总结 如果其中有任何
  • CentOS 7部署 Ceph分布式存储架构

    一 概述 随着OpenStack日渐成为开源云计算的标准软件栈 Ceph也已经成为OpenStack的首选后端存储 Ceph是一种为优秀的性能 可靠性和可扩展性而设计的统一的 分布式文件系统 ceph官方文档 http docs ceph
  • k8s使用ceph rbd

    环境 节点 k8s角色 ceph 安装组件 192 168 122 120 k8s master ceph admin mon1 osd0 osd1 osd2 osd9 192 168 122 121 k8s slave1 ceph mon
  • Ceph:ceph修复osd为down的情况

    ceph修复osd为down的情况 今天巡检发现ceph集群有一个osds Down了 通过dashboard 查看 ceph修复osd为down的情况 点击查看详情 可以看到是哪个节点Osds Down 了 通过命令查看Osds状态 查看
  • Ceph运维存储 命令管理操作

    分布式存储运维操作 集群服务管理常用命令 统一节点上的ceph conf文件 将admin节点上修改的ceph conf 推送给所有其他节点 overwrite conf强制覆盖 ceph deploy overwrite conf con
  • Ceph入门到静态-deep scrub 深度清理处理

    9 6 洗刷 REPORT DOCUMENTATION BUG 除了为对象创建多个副本外 Ceph 还可通过洗刷归置组来确保数据完整性 请参见第 1 3 2 节 归置组 了解有关归置组的详细信息 Ceph 的洗刷类似于在对象存储层运行 fs
  • Ceph17 安装部署

    一 系统资源初始化 ceph可以实现的存储方式 块存储 提供像普通硬盘一样的存储 为使用者提供 硬盘 文件系统存储 类似于 NFS 的共享方式 为使用者提供共享文件夹 对象存储 像百度云盘一样 需要使用单独的客户端 ceph 还是一个分布式
  • Ceph集群生产环境安装部署

    前言 ceph的组件以及工作流程非常的复杂 是一个庞大的系统 在尝试ceph之前尽量多查阅官方的文档 理解ceph的mon osd mds pg pool等各组件 Unit的协同工作方式 Ceph官方文档 一 配置规划 二 部署 1 ntp
  • 查询统计Ceph上的pg 总数

    本文中的命令的第一版来源于国外的一个博客 后面的版本为我自己修改的版本 查询的命令如下 ceph pg dump awk pg stat col 1 while col up col col 0 9a f 0 9a f match 0 0
  • Ceph集群中指定OSD 创建 pool

    导读 如何利用crush来对不同数据指定不同设备的osd存储 这边我是用虚拟机演示 所以都是hdd 这边假设osd0 2 4为ssd设备 osd 1 3 5为sata设备 背景 在我们的ceph集群中 可能不只有sata盘或者ssd盘 有些
  • Loongnix单机部署Ceph(LoongArch架构、Ceph N版、手动部署MON、OSD、MGR、Dashboard服务)

    基础环境信息 CPU 龙芯3C5000L 2 内存 128G 硬盘 系统盘 一块512G的NVME的SSD 数据盘 三块16T的HDD 操作系统版本 Loongnix 8 4 Ceph版本 Ceph 14 2 21 Nautilus Cep
  • OSD full/nearfull 的解决办法

    总结 1 所有整个集群都是full状态 需要添加新osd或删除不必要内容 2 部分osd处于full状态 首先通过调节near full值 使osd能够读写 再调节osd的weight权重 使其能够把数据写到空间较大的osd 0 说明 个人
  • Linux OOM机制&线上osd异常kill

    一 引言 某日早上收到邮件告警信息 上报pg stale以及recovery信息 于是登录系统运维 二 排查 解决 登录系统后发现系统已恢复正常 按照正常来讲并无影响 但系统既已出现recovery信息意味着一定有osd down发生 于是
  • rdb map出錯rbd sysfs write failed

    創建了一個rbd鏡像 rbd create size 4096 docker test 然後 在Ceph client端將該rbd鏡像映射為本地設備時出錯 rbd map docker test name client admin rbd
  • cehp 维护(二)常见告警维护

    零 修订记录 序号 修订时间 修订内容 1 2021 11 18 新增 一 摘要 笨猪主要介绍ceph常见告警及维护方法或过程中遇到的问题 二 环境信息 2 1 ceph版本 cephadmin proceph01 ceph v ceph
  • Ceph入门到精通- smartctl -l error检查硬盘指标

    smartctl l error 是一个 Linux 命令 用于查看磁盘驱动器的 SMART Self Monitoring Analysis and Reporting Technology 错误日志 SMART 是一种技术 能够监测硬盘

随机推荐