解锁云原生虚拟数仓 PieCloudDB Database 『第一期』

2023-11-06

拓数派旗下旗舰产品 PieCloudDB ,采用领先的数仓虚拟化技术,为企业构建高安全,高可靠,高在线「坚如磐石」的云原生虚拟数仓。本系列文章将为大家介绍 PieCloudDB Database 最新动态和全新功能。

相关视频:链接

产品试用:https://app.pieclouddb.com

随着计算资源和网络资源的丰富,计算平台经历了从大型机年代,PC 机年代,到如今的云时代的三代平台变更。在第三次变革中,服务器虚拟化技术的突破引领了云计算时代的到来。 

三代计算平台变更 

为了充分利用云带来的红利,拓数派打造了一款全新的云时代的数据库管理平台:PieCloudDB。PieCloudDB 将用户数据,元数据和计算引擎三个逻辑核心组件进行拆解并在云上重组。这种存储和计算分离的架构带来了云上的高弹性,并具备了软硬分离的高容错和高在线能力。用户可以根据自身需求,按需进行存储或计算资源的弹性扩展。

数仓云原生虚拟化技术突破引领数据计算时代到来 

自2022年10月24日以来,拓数派陆续发布了 PieCloudDB 社区版和企业版,以及一体机版本。在3月14日 πDay,拓数派发布 PieCloudDB 全新版本:云上云版。至此,PieCloudDB 完成了对裸硬件,私有云,和公有云三种部署方式的全面支持。  

PieCloudDB 的多种部署方式 

在新版本中,PieCloudDB 全面实现数据仓库上云虚拟化。云原生数仓虚拟化突破了传统 MPP 数据库的众多瓶颈,实现了云上 eMPP 全新架构,做到多个云原生虚拟数仓并发执行。从而获得云上新架构提供的众多红利,包括打破数据孤岛,秒级扩缩容,动态调配资源,按需付费等。

PieCloudDB 实现云上eMPP架构 

新的版本实现了众多全新功能,带来了性能和稳定全方位的提升,让 PieCloudDB 做到了真正的「unbreakable」坚如磐石,包括: 

  • 聚集下推功能得到增强 

在数据库的分析型场景下往往存在大量的聚集运算。PieCloudDB 实现的聚集下推功能通过把聚集操作下推到连接操作之前去执行,可以大大减少链接操作需要处理的数据量,让查询性能显著提升。 

经测试,聚集下推让 PieCloudDB 在某些复杂查询的应用场景下得到了近百倍甚至千倍的提升。 

 

聚集下推功能 

  • Block File Skipping 优化

PieCloudDB 的用户数据以行列混存的数据格式被存储在对象存储中。 同时,PieCloudDB 以 block 文件为存储单位。Block 文件按列存储,从而获得高效的压缩,节省存储空间; PieCloudDB 在全新版本中实现的 Block File Skipping 的优化机制  在数据库运行查询语句时,通过预计算每个 block 文件中列聚集信息 ,在执行期间跳过非必要的数据块,从而减少数据读取量,提高查询性能。 

PieCloudDB 行列混存 

  • 实现极速 Analyze 

“Analyze” 操作可以分析数据库表的内容,收集有关每个表的每一列中值分布的统计信息。数据库查询引擎会利用这些统计信息生成最佳查询计划。 

对于大部分的数据库系统,Analyze 往往是手动执行,或由 AUTO VACUUM 自动执行,对于数据量较大的大表的查询,时间过长。 

在全新版本中,PieCloudDB 实现极速Analyze,可以在数据发生变化时自动完成Analyze,及时生成更为准确的查询规划统计信息。

  • 全新的缓存机制 

针对元数据,PieCloudDB 实现了元数据层全新的缓存机制,有效减少了访问元数据服务器带来的网络通信开销和元数据服务器的负载,提高元数据访问的速度。  

  • 支持快速 ETL/ELT、和外部数据源的查询 

PieCloudDB 在全新版本中,原生支持 Kafka 流数据导入。copy 操作由原先的单节点优化至整个集群,性能得到大幅提升,与集群尺寸成正比。 

此外,在全新版本中,PieCloudDB 支持 foreign-data wrapper 模块,使用户可以访问包括但不限于 HDFS、MySQL 等数据源。同时 PieCloudDB 支持用户自行开发模块来访问新的存储数据源。 

除了这五项重大优化,PieCloudDB 全新版本内核还实现了 

  • 可观测性增强
  • Vacuum 优化
  • 在 HDFS/NAS 系统上支持原生存储格式
  • 对 开源优化器 Orca 的支持
  • 对开源机器学习库 Madlib 的支持
  • 支持超大数据量字段

…. 

等多项优化。

PieCloudDB 打造了全新的存储引擎简墨(JANM) 。简墨出自”竹简墨书”,形象的描述了 PieCloudDB 行列混存的存储形式。 

在 PieCloudDB 的全新版本中,存储引擎 JANM 实现了: 

  • JANM 分布式处理的增强 
  • JANM 动态分配读取文件,增强 dispatch 性能 
  • JANM 异常处理的优化 

…. 

等多个功能。

PieCloudDB 云原生管控平台完成了包括: 

  • 用户权限优化 
  • 注册选项增加 
  • 数据洞察优化 
  • 数据导入优化 
  • 外部接入支持更多类型 

…. 

等多项优化。

PieCloudDB 将不断迭代,继续前行,欢迎大家前往https://app.pieclouddb.com 试用云上云版本。也期待大家扫码加入我们的技术社区,与我们携手共进!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

解锁云原生虚拟数仓 PieCloudDB Database 『第一期』 的相关文章

  • KubeSphere中集成ApiSix

    KubeSphere中集成ApiSix 一 Apache APISIX 介绍 Apache APISIX 是一款开源的高性能 动态云原生网关 由深圳支流科技有限公司于 2019 年捐赠给 Apache 基金会 当前已经成为 Apache 基
  • Linux Debian上快速安装Docker并运行

    要在Debian上安装Docker 可以按照以下步骤进行 更新系统软件包 在终端中执行以下命令 更新系统软件包 sudo apt get update 安装依赖包 在终端中执行以下命令 安装Docker需要的依赖包 sudo apt get
  • Ubuntu云原生环境安装,docker+k8s+kubeedge(亲测好用)

    docker安装步骤 Linux 一 移除以前docker相关包 sudo apt get autoremove docker docker ce docker engine docker io containerd runc 二 设置存储
  • 云原生微服务应用的平台工程实践

    作者 纳海 01 微服务应用云原生化 微服务是一个广泛使用的应用架构 而如何使得微服务应用云原生化却是近些年一直在演进的课题 国内外云厂商对云原生概念的诠释大同小异 基本都会遵循 CNCF 基金会的定义 云原生技术有利于各组织在公有云 私有
  • 【云原生之Docker实战】使用docker部署PicUploader图床工具

    云原生之Docker实战 使用docker部署PicUploader图床工具 一 PicUploader介绍 1 PicUploader介绍 2 PicUploader特点 二 检查本地系统环境 1 检查系统版本 2 检查系统内核版本 三
  • k8s基础5——Pod常用命令、资源共享机制、重启策略和健康检查、环境变量、初始化容器、静态pod

    文章目录 一 基本了解 二 管理命令 三 yaml文件参数大全 四 创建pod的工作流程 五 资源共享机制 5 1 共享网络 5 2 共享存储 六 生命周期 重启策略 健康检查 七 环境变量 八 Init Containe初始化容器 九 静
  • Nomad系列-Nomad网络模式

    系列文章 Nomad 系列文章 概述 Nomad 的网络和 Docker 的也有很大不同 和 K8s 的有很大不同 另外 Nomad 不同版本 Nomad 1 3 版本前后 或是否集成 Consul 及 CNI 等不同组件也会导致网络模式各
  • 【Docker】云原生利用Docker确保环境安全、部署的安全性、安全问题的主要表现和新兴技术产生

    前言 Docker 是一个开源的应用容器引擎 让开发者可以打包他们的应用以及依赖包到一个可移植的容器中 然后发布到任何流行的Linux或Windows操作系统的机器上 也可以实现虚拟化 容器是完全使用沙箱机制 相互之间不会有任何接口 云原生
  • 【Docker 基础教程】Centos7.5安装Docker并配置阿里云镜像

    文章目录 前言 安装docker 前置条件 测试并运行一个实例 安装命令 安装结果 建立一个容器 配置阿里云镜像 第一步 第二步 第三步 第四步 第五步 以下方式二选一 直接复制黏贴 分步创建 前言 前面一篇文章介绍到了Docker的基本概
  • 云原生热门话题|什么是可观测性-Observability

    code杂坛 关注一线大厂 互联网时讯 各技术栈 产品 开源社区 等最新讯息 1 可观测性引入 可观测性 术语源于几十年前的控制理论 在许多实际问题中 控制系统的状态变量不是由直接测量得到的 而是通过某种观测方法得到的 由某种观测系统所得到
  • 【云原生•监控】基于Prometheus的云原生集群监控(理论+实践)-03

    云原生 监控 基于Prometheus的云原生集群监控 理论 实践 03 k8s服务组件指标 kubernetes云原生集群作为大规模多节点容器调度平台 在交付和部署上的巨大优势逐渐让其称为一种技术趋势 如基于工作负载快速进行扩 缩容 故障
  • 【数据库】如何创建一个非常便宜的无服务器数据库

    云对象存储可以用作功能强大且非常便宜的数据库 您是否相信您可以使用完全托管 可大规模扩展 高度可用且价格低廉的无服务器数据库 每月只需 5 美元 您就可以存储数亿条记录并读写数十亿条记录 如果您的数据库需求可以通过非常简单的键值存储来满足
  • 4.网络爬虫—Post请求(实战演示)

    网络爬虫 Post请求实战演示 POST请求 GET请求 POST请求和GET请求的区别 获取二进制数据 爬 百度官网 https www baidu com logo实战 发送post请求 百度翻译实战 使用session发送请求 模拟登
  • K8s基础6——应用配置管理方案、调度策略、污点和污点容忍

    文章目录 一 应用配置管理方案 1 1 ConfigMap 1 1 1 注入变量 1 1 2 挂载数据卷 1 2 Secret 1 2 1 数据卷挂载 1 2 2 变量注入 二 调度策略 2 1 nodeSelector定向调度 2 1 1
  • 【云原生之k8s】K8s 管理工具 kubectl 详解(二)

    K8S模拟项目 Kubectl是管理k8s集群的命令行工具 通过生成的json格式传递给apiserver进行创建 查看 管理的操作 帮助信息 root localhost bin kubectl help kubectl controls
  • Kubernetes 简介

    1 Kubernetes简介 一个容器管理应用 提高容器化服务的部署和管理效率 2 容器部署 2 1 传统部署形式 应用共用服务器环境 对于底层资源 文件目录 JDK 网络带宽等 存在弹性争夺 冲突等问题 容易导致应用性能不稳定 服务器环境
  • k8s集群使用calico网络组件

    一 前言 k8s的网络组件可以使用flannel或者calico两种 flannel的配置比较简单 但是性能还是calico会更高一点 所以现在来介绍以下calico网络组件的部署 二 部署 k8s集群版本对calico的版本也有对应要求
  • 微服务常见的配置中心简介

    微服务架构中 常见的配置中心包括以下几种 Spring Cloud Config Spring Cloud Config是官方推荐的配置中心解决方案 它支持将配置文件存储在Git SVN等版本控制系统中 通过提供RESTful API 各个
  • 微服务常见的配置中心简介

    微服务架构中 常见的配置中心包括以下几种 Spring Cloud Config Spring Cloud Config是官方推荐的配置中心解决方案 它支持将配置文件存储在Git SVN等版本控制系统中 通过提供RESTful API 各个
  • 拓数派加入 OpenCloudOS 操作系统开源社区,作为成员单位参与社区共建

    近日 拓数派签署 CLA Contributor License Agreement 贡献者许可协议 正式加入 OpenCloudOS 操作系统开源社区 拓数派 英文名称 OpenPie 是国内基础数据计算领域的高科技创新企业 作为国内云上

随机推荐