存储池的管理通常保存创建、列出、重命名和删除等操作
管理工具使用 ceph osd pool 的子命令及参数，比如 create/ls/rename/rm 等。
创建存储池命令格式
ceph osd pool create <poolname> pg_num pgp_num {replicated|erasure}
# 示例
ceph osd pool create mypool 64 64
列出存储池
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool ls #不带 pool ID
mypool
myrdb1
[ceph@ceph-deploy ceph-cluster]$ ceph osd lspools #带 pool ID
1 mypool
2 myrdb1
获取存储池的统计信息
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool stats mypool
pool mypool id 1
nothing is going on
重命名存储池
# 格式
ceph osd pool rename old-name new-name
# 示例
ceph osd pool rename myrdb1 myrdb2
显示存储池的用量信息
rados df
如果把存储池删除会导致把存储池内的数据全部删除，因此 ceph 为了防止误删除存储池设置了两个机制来防止误删除操作。
第一个机制是 NODELETE 标志，需要设置为 false 但是默认就是 false 了。
# 创建一个测试的pool
ceph osd pool create mypool2 32 32
pool 'mypool2' created
# 如果 NODELETE 标志设置为了 true 就表示不能删除，可以使用 set 指令重新设置为 fasle
ceph osd pool set mypool2 nodelete true
set pool 9 nodelete to true
ceph osd pool set mypool2 nodelete false
set pool 9 nodelete to false
# 查看 NODELETE 标志位
ceph osd pool get mypool2 nodelete
nodelete: false
第二个机制是集群范围的配置参数 mon allow pool delete，默认值为 false，即监视器不允许删除存储池，可以在特定场合使用 tell 指令临时设置为(true)允许删除，在删除指定的 pool 之后再重新设置为 false。
[ceph@ceph-deploy ceph-cluster]$ ceph tell mon.* injectargs --mon-allow-pool-delete=true
mon.ceph-mon1: injectargs:mon_allow_pool_delete = 'true'
mon.ceph-mon2: injectargs:mon_allow_pool_delete = 'true'
mon.ceph-mon3: injectargs:mon_allow_pool_delete = 'true'
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool rm mypool2 mypool2 --yes-i-really-really-mean-it
pool 'mypool2' removed
[ceph@ceph-deploy ceph-cluster]$ ceph tell mon.* injectargs --mon-allow-pool-delete=false
mon.ceph-mon1: injectargs:mon_allow_pool_delete = 'false'
mon.ceph-mon2: injectargs:mon_allow_pool_delete = 'false'
mon.ceph-mon3: injectargs:mon_allow_pool_delete = 'false
存储池可以设置两个配对存储的对象进行限制，一个配额是最大空间(max_bytes)，另外一个配额是对象最大数量(max_objects)。
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool get-quota mypool
quotas for pool 'mypool':
max objects: N/A #默认不限制对象数量
max bytes: N/A #默认不限制空间大小
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool set-quota mypool max_objects 1000 #限制最大 1000 个对象
set-quota max_objects = 1000 for pool mypool
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool set-quota mypool max_bytes 10737418240 #限制最大 10737418240 字节
set-quota max_bytes = 10737418240 for pool mypool
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool get-quota mypool
quotas for pool 'mypool':
max objects: 1 k objects #最多 1000 对象
max bytes : 10 GiB #最大 10G 空间
# 一般情况下，只限制大小，不限制数量。
size：存储池中的对象副本数，默认一主两个辅助 3 副本
ceph osd pool get mypool size
size: 3
ceph osd pool set mypool size 2 #设置一主一个辅助副本
min_size：提供服务所需要的最小副本数，如果定义 size 为 3，min_size 也为 3，坏掉一个 OSD，如果 pool 池中有副本在此块 OSD 上面，那么此 pool 将不提供服务，如果将 min_size 定义为 2，那么还可以提供服务，如果提供为 1，表示只要有一块副本都提供服务。
ceph osd pool get mypool min_size
min_size: 2
pg_num：查看当前 PG 的数量
ceph osd pool get mypool pg_num
pg_num: 32
ceph osd pool set mypool pg_num 64 #修改指定 pool 的 pg 数量
set pool 1 pg_num to 64
crush_rule：设置 crush 算法规则
ceph osd pool get mypool crush_rule
crush_rule: replicated_rule #默认为副本池
nodelete：控制是否可删除，默认可以
ceph osd pool get mypool nodelete
nodelete: false
nopgchange：控制是否可更改存储池的 pg num 和 pgp num
ceph osd pool get mypool nopgchange
nopgchange: false
nosizechange：控制是否可以更改存储池的大小
ceph osd pool get mypool nosizechange
nosizechange: false #默认允许修改存储池大小
存储池配额相关命令
ceph osd pool get-quota mypool
quotas for pool 'mypool':
max objects: 1 k objects
max bytes : 10 GiB
ceph osd pool set-quota mypool max_bytes 21474836480
set-quota max_bytes = 21474836480 for pool mypool
ceph osd pool get-quota mypool
quotas for pool 'mypool':
max objects: 1 k objects
max bytes : 20 GiB
noscrub 和 nodeep-scrub：控制是否整理或深层整理存储池，可临时解决高 I/O 问题。
浅整理：主要整理文件的元数据
深层整理：主要整理数据是否一致性
ceph osd pool get mypool noscrub
noscrub: false #查看当前是否关闭轻量扫描数据，默认为不关闭，即开启
ceph osd pool get mypool nodeep-scrub
nodeep-scrub: false #查看当前是否关闭深度扫描数据，默认为不关闭，即开启
ceph osd pool set mypool noscrub true
set pool 1 noscrub to true #可以修改某个指定的 pool 的轻量级扫描测量为 true，即不执行 轻量级扫描
ceph osd pool set mypool nodeep-scrub true
set pool 1 nodeep-scrub to true #可以修改某个指定的 pool 的深度扫描测量为 true，即不执 行深度扫描
ceph osd pool get mypool noscrub
noscrub: true #再次查看就不进行轻量级扫描了
ceph osd pool get mypool nodeep-scrub
nodeep-scrub: true #再次查看就不执行深度扫描了
scrub_min_interval：集群存储池的最小清理时间间隔，默认值没有设置，可以通过配置文件中的 osd_scrub_min_interval 参数指定间隔时间。
ceph osd pool get mypool scrub_min_interval
Error ENOENT: option 'scrub_min_interval' is not set on pool 'mypool'
scrub_max_interval：整理存储池的最大清理时间间隔，默认值没有设置，可以通过配置文件中的 osd_scrub_max_interval 参数指定。
ceph osd pool get mypool scrub_max_interval
Error ENOENT: option 'scrub_max_interval' is not set on pool 'mypool'
deep_scrub_interval：深层整理存储池的时间间隔，默认值没有设置，可以通过配置文件中的 osd_deep_scrub_interval 参数指定。
ceph osd pool get mypool deep_scrub_interval
Error ENOENT: option 'deep_scrub_interval' is not set on pool 'mypool'
查看默认整理的属性
ceph daemon osd.3 config show | grep scrub
"mds_max_scrub_ops_in_progress": "5",
"mon_scrub_inject_crc_mismatch": "0.000000",
"mon_scrub_inject_missing_keys": "0.000000",
"mon_scrub_interval": "86400",
"mon_scrub_max_keys": "100",
"mon_scrub_timeout": "300",
"mon_warn_not_deep_scrubbed": "0",
"mon_warn_not_scrubbed": "0",
"osd_debug_deep_scrub_sleep": "0.000000",
"osd_deep_scrub_interval": "604800.000000", #定义深度清洗间隔，604800 秒=7 天
"osd_deep_scrub_keys": "1024",
"osd_deep_scrub_large_omap_object_key_threshold": "200000",
"osd_deep_scrub_large_omap_object_value_sum_threshold": "1073741824",
"osd_deep_scrub_randomize_ratio": "0.150000", "osd_deep_scrub_stride": "524288",
"osd_deep_scrub_update_digest_min_age": "7200", "osd_max_scrubs": "1", #定义一个 ceph OSD daemon 内能够同时进行 scrubbing 的操作数
"osd_op_queue_mclock_scrub_lim": "0.001000",
"osd_op_queue_mclock_scrub_res": "0.000000",
"osd_op_queue_mclock_scrub_wgt": "1.000000",
"osd_requested_scrub_priority": "120",
"osd_scrub_auto_repair": "false",
"osd_scrub_auto_repair_num_errors": "5",
"osd_scrub_backoff_ratio": "0.660000",
"osd_scrub_begin_hour": "0",
"osd_scrub_begin_week_day": "0",
"osd_scrub_chunk_max": "25",
"osd_scrub_chunk_min": "5",
"osd_scrub_cost": "52428800",
"osd_scrub_during_recovery": "false",
"osd_scrub_end_hour": "24",
"osd_scrub_end_week_day": "7",
"osd_scrub_interval_randomize_ratio": "0.500000",
"osd_scrub_invalid_stats": "true", #定义 scrub 是否有效 "osd_scrub_load_threshold": "0.500000",
"osd_scrub_max_interval": "604800.000000", #定义最大执行 scrub 间隔，604800 秒=7 天
"osd_scrub_max_preemptions": "5",
"osd_scrub_min_interval": "86400.000000", #定义最小执行普通 scrub 间隔，86400 秒=1 天
"osd_scrub_priority": "5", "osd_scrub_sleep": "0.000000",
快照用于读存储池中的数据进行备份与还原，创建快照需要占用的磁盘空间会比较大，取决于存储池中的数据大小，使用以下命令创建快照
# 命令 1
ceph osd pool mksnap {pool-name} {snap-name}
# 示例
ceph osd pool mksnap mypool mypool-snap
created pool mypool snap mypool-snap
#命令 2
rados -p {pool-name} mksnap {snap-name}
# 示例
rados -p mypool mksnap mypool-snap2
created pool mypool snap mypool-snap2
rados lssnap -p mypool
1 mypool-snap 2020.11.03 16:12:56
2 mypool-snap2 2020.11.03 16:13:40
2 snaps
测试上传文件后创建快照，然后删除文件再还原文件,基于对象还原。
# 格式
rados rollback <obj-name> <snap-name> roll back object to snap <snap-name>
# 上传文件
[ceph@ceph-deploy ceph-cluster]$ rados -p mypool put testfile /etc/hosts
#验证文件
[ceph@ceph-deploy ceph-cluster]$ rados -p mypool ls
msg1
testfile
my.conf
#创建快照
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool mksnap mypool mypool-snapshot001
created pool mypool snap mypool-snapshot001
#验证快照
[ceph@ceph-deploy ceph-cluster]$ rados lssnap -p mypool
3 mypool-snap 2020.11.04 14:11:41
4 mypool-snap2 2020.11.04 14:11:49
5 mypool-conf-bak 2020.11.04 14:18:41
6 mypool-snapshot001 2020.11.04 14:38:50
4 snaps
#删除文件
[ceph@ceph-deploy ceph-cluster]$ rados -p mypool rm testfile
#删除文件后，无法再次删除文件，提升文件不存在
[ceph@ceph-deploy ceph-cluster]$ rados -p mypool rm testfile
error removing mypool>testfile: (2) No such file or directory
#通过快照还原某个文件
[ceph@ceph-deploy ceph-cluster]$ rados rollback -p mypool testfile mypool-snapshot001
rolled back pool mypool to snapshot mypool-snapshot001
#再次执行删除就可以执行成功
[ceph@ceph-deploy ceph-cluster]$ rados -p mypool rm testfile
# 格式
ceph osd pool rmsnap <poolname> <snap>
[ceph@ceph-deploy ceph-cluster]$ rados lssnap -p mypool
3 mypool-snap 2020.11.04 14:11:41
4 mypool-snap2 2020.11.04 14:11:49
5 mypool-conf-bak 2020.11.04 14:18:41
6 mypool-snapshot001 2020.11.04 14:38:50
4 snaps
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool rmsnap mypool mypool-snap
removed pool mypool snap mypool-snap
[ceph@ceph-deploy ceph-cluster]$ rados lssnap -p mypool
4 mypool-snap2 2020.11.04 14:11:49
5 mypool-conf-bak 2020.11.04 14:18:41
6 mypool-snapshot001 2020.11.04 14:38:50
3 snaps
如果使用 bulestore 存储引擎，ceph 支持称为”实时数据压缩”即边压缩边保存数据的功能，该功能有助于节省磁盘空间，可以在BlueStore OSD上创建的每个Ceph池上启用或禁用压缩， 以节约磁盘空间，默认没有开启压缩，需要后期配置并开启。
ceph osd pool set <pool name> compression_algorithm snappy # 默 认 算 法 为 snappy
snappy：该配置为指定压缩使用的算法默认为 sanppy，还有 none、zlib、lz4、zstd 和 snappy 等算法，zstd 压缩比好，但消耗 CPU，lz4 和 snappy 对 CPU 占用较低，不建议使用 zlib。
ceph osd pool set <pool name> compression_mode aggressive
aggressive：压缩的模式，有 none、aggressive、passive 和 force，默认 none。
none：从不压缩数据。
passive：除非写操作具有可压缩的提示集，否则不要压缩数据。
aggressive：压缩数据，除非写操作具有不可压缩的提示集。
force：无论如何都尝试压缩数据，即使客户端暗示数据不可压缩也会压缩，也就是在所有情况下都使用压缩。
查看默认配置
ceph daemon osd.3 config show | grep compression
存储池压缩设置参数:
compression_algorithm #压缩算法
compression_mode #压缩模式
compression_required_ratio #压缩后与压缩前的压缩比，默认为.875
compression_max_blob_size： #大于此的块在被压缩之前被分解成更小的 blob(块)，此设置将覆盖 bluestore 压缩 max blob * 的全局设置。
compression_min_blob_size：#小于此的块不压缩, 此设置将覆盖 bluestore 压缩 min blob *的全局设置。
全局压缩选项，这些可以配置到 ceph.conf 配置文件，作用于所有存储池:
bluestore_compression_algorithm #压缩算法
bluestore_compression_mode #压缩模式
bluestore_compression_required_ratio #压缩后与压缩前的压缩比，默认为.875
bluestore_compression_min_blob_size #小于它的块不会被压缩,默认 0
bluestore_compression_max_blob_size #大于它的块在压缩前会被拆成更小的块,默认 0
bluestore_compression_min_blob_size_ssd #默认 8k
bluestore_compression_max_blob_size_ssd #默认 64k
bluestore_compression_min_blob_size_hdd #默认 128k
bluestore_compression_max_blob_size_hdd #默认 512k
到 node 节点验证：
[root@ceph-node3 ~]# ceph daemon osd.11 config show | grep compression
#修改压缩算法
[ceph@ceph-deploy ~]$ ceph osd pool set mypool compression_algorithm snappy
set pool 1 compression_algorithm to snappy
[ceph@ceph-deploy ~]$ ceph osd pool get mypool compression_algorithm
compression_algorithm: snappy
#修改压缩模式：
[ceph@ceph-deploy ~]$ ceph osd pool set mypool compression_mode force
set pool 1 compression_mode to force
[ceph@ceph-deploy ~]$ ceph osd pool get mypool compression_mode
compression_mode: force