PostgreSQL分区

2023-10-27

修改表-官网手册
表分区-官网手册

概述

分区是指将一个逻辑上大的表拆分为较小的物理块。分区可以提供以下好处:

  • 在某些情况下,尤其是当表中大多数被频繁访问的行位于单个分区或少量分区中时,查询性能可以得到显着提高。分区替代了索引的前几列,从而减小了索引的大小,并使索引中频繁使用的部分更有可能装入内存

  • 当查询或更新访问单个分区的很大一部分时,可以通过对该分区进行顺序扫描而不是使用索引和分散在整个表中的随机访问读取来提高性能。

  • 如果计划将这种需求计划到分区设计中,则可以通过添加或删除分区来完成批量加载和删除。做ALTER TABLE DETACH PARTITION或采用滴的个体分区DROP TABLE远快于批量操作。这些命令还完全避免了VACUUM由于批量操作引起的开销DELETE。

很少使用的数据可以迁移到更便宜,更慢的存储介质上

通常只有在表很大的情况下,这些好处才是值得的。表可以从分区中受益的确切时间取决于应用程序,尽管经验法则是表的大小应超过数据库服务器的物理内存

PostgreSQL为以下形式的分区提供内置支持:

  • 范围分区
    该表被划分为由键列或列集定义的“ 范围 ”,分配给不同分区的值的范围之间没有重叠。例如,可以按日期范围或特定业务对象的标识符范围进行分区。

  • 列表分区
    通过显式列出哪些键值出现在每个分区中来对表进行分区。

  • 哈希分区
    通过为每个分区指定模数和余数来对表进行分区。每个分区将保留行,分区键的哈希值除以指定的模数将产生指定的余数。

如果您的应用程序需要使用上面未列出的其他分区形式,UNION ALL则可以使用替代方法,例如继承和视图。此类方法提供了灵活性,但没有内置声明性分区的某些性能优势。

分区

list 分区

partition by list

CREATE TABLE "table_name" (
	"id" bigserial not null,
	"str1" varchar(255),
	"country" varchar(2)
	"int1" int8,
	"int2" int8 DEFAULT 0,
	"money1" numeric(10,2),
	"created_at" timestamp(0),
	"updated_at" timestamp(0)
)partition by list( country )
WITH (OIDS=FALSE);

-- 注释
COMMENT ON COLUMN "table_name"."country" IS 'country comment xxx';

-- Partitions SQL
create table table_name_us partition of table_name for values in ('US');
create table table_name_ca partition of table_name for values in ('CA');
create table table_name_default partition of table_name default; 

“created_at” timestamp(0) DEFAULT CURRENT_TIMESTAMP(0) NOT NULL,

range 分区

注意前后时间范围分配衔接

分区依据在partition by range,

CREATE TABLE "table_name" (
	"id" bigserial not null,
	"report_date" date,
	"created_at" timestamp(0),
	"updated_at" timestamp(0)
)partition by range(report_date)
WITH (OIDS=FALSE);

COMMENT ON COLUMN "table_name"."report_date" IS 'xxxxx';


-- 再按日期分区
create table table_name_201803_default partition of table_name default;
	
create table table_name_201803_before partition of table_name 
	for values from (MINVALUE) to ('2018-03-01');
	
create table table_name_201803 partition of table_name 
	for values from ('2018-03-01') to ('2018-04-01');
	
create table table_name_201803_after partition of table_name  
  	for values from ('2018-04-01') to (MAXVALUE)
  	WITH (parallel_workers = 4)
    TABLESPACE fasttablespace;

在上面的示例中,我们每个月都会创建一个新分区,因此编写一个脚本自动生成所需的DDL可能是明智的。

确保在中未禁用enable_partition_pruning配置参数postgresql.conf。如果是这样,查询将不会根据需要进行优化。

启用修剪, 自动判断是否需要排除对应的分区表, 而不是全部扫描, 因为该分区不能包含满足查询WHERE条件

hash

散列类型分区根据分区键的散列值分配行。

create table table_name(
	id bigserial ,
	country varchar(255),
	asin varchar(24)
) partition by hash(asin);

CREATE TABLE asin_0 PARTITION OF table_name FOR VALUES WITH (MODULUS 3, REMAINDER 0);
CREATE TABLE asin_1 PARTITION OF table_name FOR VALUES WITH (MODULUS 3, REMAINDER 1);
CREATE TABLE asin_2 PARTITION OF table_name FOR VALUES WITH (MODULUS 3, REMAINDER 2);

分区维护

卸载分区

通常,最初定义表时建立的分区集并不打算保持静态。通常希望删除数据的旧分区,并定期为新数据添加新分区。分区的最重要优点之一就是,它允许通过操纵分区结构而不是物理地移动大量数据来几乎立即执行此原本很痛苦的任务。

删除旧数据的最简单选择是删除不再需要的分区:

ALTER TABLE table_name 
	DETACH PARTITION table_name_201803 ;
-- 删除表不是必须的, 一般是迁移到更廉价的存储介质, 或导出转换数据	
DROP TABLE table_name_201803 ;

创建分区

创建表并且附加到分区

create table  table_name_201802  partition of table_name 
    for values from ('2008-02-01') to ('2008-03-01')
    tablespace fasttablespace;

-- 默认分区
create table table_name_default partition of table_name default;

附加分区

把已经存在的表(可能有数据)附加到分区表

alter table table_name ATTACH partition table_name_201802  
    for values from ('2008-02-01') to ('2008-03-01' );

添加索引

在分区表的键列以及您可能需要的任何其他索引上创建索引。(并非严格要求键索引,但是在大多数情况下它很有用。)这将在每个分区上自动创建一个索引,以后创建或附加的任何分区也将包含该索引

create index on table_name (report_date);
-- 唯一键可以直接加在主表,所有子表生效
alter table table_name add unique (asin, report_date);

非继承表创建的分区, 目前不支持设置添加主键索引

enable_partitionwise_aggregate

默认情况下,此选项已关闭。可设置分区高级聚合

SET enable_partitionwise_aggregate=on;
-- 测试语句
explain select country, count(*) from test1 group by country

小案例

-- 创建list分区主表
create table test1(
	id bigserial ,
	country varchar(255),
	asin varchar(24)
) partition by list(country);

-- 创建子表
create table test_us partition of test1 for values in ('US');
create table test_it partition of test1 for values in ('IT');
create table test_default partition of test1 default;

-- 添加唯一索引, 一般结合分区键
ALTER TABLE  test1 ADD UNIQUE (asin, country);

-- 测试唯一索引在子表是否生效
insert into test1 VALUES(1, 'US', 'ASIN1');
insert into test1 VALUES(1, 'US', 'ASIN1'); -- 此处应该报错,违反唯一约束

-- 测试分区键之间的数据转移(PG11后支持)
-- 数据由test_us 转移到了 test_it
select *  from test_us;
update test1 set country='IT' where id=1;
select *  from test_it;
-- 测试默认分区数据转移
update test1 set country='ABC' where id=1;
select *  from test_default;

-- 卸载分区子表
alter table test1 detach partition test_us;
alter table test1 detach partition test_it;
alter table test1 detach partition test_default;
-
- 删除分区子表
drop table test_us;
drop table test_it;
drop table test_default;

-- 删除分区主表
drop table test1;

PG 嵌套分区

嵌套分区可以结合list和range的方式,根据业务需要提供灵活的玩法

-- 多级分区
-- 创建list分区主表
create table test2(
	id bigserial ,
	country varchar(255),
	asin varchar(24),
	logdate date not null
) partition by list(country);
create table test_zh partition of test2 for values in ('ZH') partition by range (logdate);
create table  test_zh_before  partition of test_zh 
    for values from (MINVALUE) to ('2022-04-30');
create table  test_zh_202205  partition of test_zh 
    for values from ('2022-05-01') to ('2022-05-31');

-- 默认分区插入一条数据,test_zh_202205分区插入一条数据
insert into test2 VALUES(1, 'ZH', 'ASIN1','2022-05-02');
insert into test2 VALUES(2, 'ZH', 'ASIN2','2022-04-02');

select * from test2;

SELECT * from test_zh_before;
SELECT * from test_zh_202205;
alter table test1 detach partition test_zh;
drop table test_zh;
alter table test_zh detach partition test_zh_before;
drop table test_zh_before
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

PostgreSQL分区 的相关文章

随机推荐

  • 都什么年代了,你居然还连不上GitHub?

    前言 众所周知 GitHub是我们程序员在上班或者学习的时候经常会逛的一个地方 手动狗头 而且如果我们想参与开源项目的话 GitHub也是一个很好的平台 可问题是 GitHub网页总是进不去 提交代码到GitHub也总是超时 简直烦死 有时
  • 小程序生成分享海报图片并保存相册

    文章目录 前言 一 普通二维码生成 二 生成海报图片并保存 1 引入依赖组件 2 生成海报图片 2 1 配置painter海报json 2 2 引入数据构造函数并在适当时间触发生成海报 2 3 弹窗组件中直接使用painter组件 三 源码
  • 教你上传本地代码到github

    转载请标明出处 http blog csdn net hanhailong726188 article details 46738929 本文出自 海龙的博客 开篇之前说下题外话 之前写过一篇博客 IOS 一步一步教你自定义评分星级条Rat
  • Servlet入门

    提示 文章写完后 目录可以自动生成 如何生成可参考右边的帮助文档 目录 一 Servlet是什么 二 Servlet整体架构 三 Servlet技术 1 Servlet生命周期 2 Servlet示例代码 2 1 通过继承GenericSe
  • 【无标题】测试标签吧哪就

    u4e00 u9fa5 u4e00 u9fa5 u4e00 u9fa5 啦写一些不知道是什么东西
  • 每天一道leetcode203-移除链表的元素

    考试结束 班级平均分只拿到了年级第二 班主任于是问道 大家都知道世界第一高峰珠穆朗玛峰 有人知道世界第二高峰是什么吗 正当班主任要继续发话 只听到角落默默想起来一个声音 乔戈里峰 前言 2018 11 7号打卡明天的题目leetcode14
  • 给初级开发人员的建议

    初学者 生产率 代码新手 学习 在我超过 15 年的开发生涯中 我学到了一些可以显着提高我的效率的东西 在这篇文章中 我将与您分享这些经验教训 结构 基础建议 以下内容的重要背景和动机 技术咨询 主菜 推荐读物 指向非常适合入门的高质量书籍
  • C#循环遍历文件夹下的文件

    开发工具与关键技术 Visual Studio 2015 作者 李成富 撰写时间 2019年8月03日 实现该功能使用到了DirectoryInfo类 DirectoryInfo 类派生自 FileSystemInfo 类 它提供了各种用于
  • 互斥量

    如果出现如下错误 man pthread mutex init 没有 pthread mutex init 的手册页条目 解决办法 sudo apt get install manpages posix dev init int pthre
  • ArGIS Engine专题(11)之GP模型集成Python脚本实现要素服务自动发布

    前一篇文章我们介绍了如何构建GP模型实现相邻要素自动聚合合并 这篇文章将介绍如何在gp模型中集成arcpython脚本 实现要素服务的自动化发布 从而减轻人工发布的时间成本 提高工作效率 使业务流程一键自动化管理成为可能 一 软件环境 本文
  • bugku-web-eval

    好几天没发博客了 其实是沉迷游戏了 今天在上课的时候摸了一个题 虽然很简单 但也发一下 就当是自我安慰了 题目 nullBugku CTFhttps ctf bugku com challenges detail id 75 html 首先
  • VHDL——含异步清零的4状态同步有限状态机

    1 VHDL语言 package mtype is 定义一个包 包中包含的通用定义可以在整个VHDL或多个设计中共享使用 type state t is s1 s2 s3 s0 end mtype library ieee use ieee
  • 【C++】角谷猜想

    问题描述 所谓角谷猜想 是指对于任意一个正整数 如果是奇数 则乘3加1 如果是偶数 则除以2 得到的结果再按照上述规则重复处理 最终总能够得到1 如 假定初始整数为5 计算过程分别为16 8 4 2 1 程序要求输入一个整数 将经过处理得到
  • MYSQL必知必会:格式化导入导出数据集

    在mysql中 我们可以把查询到的结果集通过自定义的格式打印到指定文件内 指定文件不存在 如果指定文件存在 则失败 下面是表结构合表数据 1 格式化导出数据 把表order info的所有记录的所有字段导入到 d 1 sql 文件内 sel
  • 2021-6-25 组态王与modbus rtu从机STM32精英开发板通信

    一 组态王与modbus rtu从机通信 1 安装组态王软件并搭建环境 1 安装组态王6 53 然后在哔哩哔哩上搜索组态王与MODBUS RTU通信视频 跟着视频 搭建环境 搭建过程如下 a 选择一个com 右侧窗口处选择一个新建 选择连接
  • MyBatis 后端对数据库进行操作

    目录 1 MyBatis 是什么 2 MyBatis 的重要性 3 MyBatis 查询 3 1 创建数据库和表 3 2 添加MyBatis框架 持 3 2 1 新项目添加MyBatis 3 2 1 老项 添加 MyBatis 3 3 配置
  • 基于特征的图像配准方法

    From 基于特征的图像配准方法 基于特征的图像配准过程 1 特征空间 基于特征的配准方法在进行图像预处理从图像中提取所选的特征之前 要先确定特征空间 通常 特征空间的选择要考虑下面五个因素 相似性 参考图像与待配准图像中要匹配的特征应该是
  • js创建全0数组

    1 创建一个长度为m的全0数组 var arr new Array m fill 0 2 创建一个m行n列的全0数组 var arr new Array m fill new Array n fill 0
  • 一些笔试题笔记1

    总结一些常见的笔试题 最小公约数和最大公倍数 这个其实很简单 记住概念就可以了 我们利用辗转相除法计算 最大公约数 摘自百度百科 一般地 如果求a和b的最大公约数 a gt b 那么 当时 得 这里表示b整除a 而表示b不能整除 当时 设余
  • PostgreSQL分区

    修改表 官网手册 表分区 官网手册 概述 分区是指将一个逻辑上大的表拆分为较小的物理块 分区可以提供以下好处 在某些情况下 尤其是当表中大多数被频繁访问的行位于单个分区或少量分区中时 查询性能可以得到显着提高 分区替代了索引的前几列 从而减