全球分布式云大会:AntDB超融合流式实时数仓,打造分布式数据库新纪元

2023-10-27

日前,全球分布式云大会北京站在北京金茂万丽酒店举办,亚信科技AntDB数据库受邀参会,会上技术负责人北陌发表以“AntDB超融合流式实时数仓,打造分布式数据库新纪元”为主题的演讲,通过分享AntDB在数据库前沿技术的研发实践,与参会嘉宾一起共话分布式数据库发展新纪元。

溯源回流不忘初心

基于未来场景做好产品研发与服务

由于我国信息产业起步较晚,数据库技术一直依赖欧美品牌厂商,但我国人口规模持续增长、通信需求无法得到满足,我国在数据和信息处理的量级上也“全球罕见”。2000年左右我国手机用户短时间内出现指数级增长,在欧美市场孕育出来的传统数据库产品并不能很好满足这样体量的数据管理需求,尤其在计费、信令分析等核心应用场景。这种背景下,亚信作为运营商的合作伙伴,当仁不让地进行技术创新,开发了AntDB第一代数据产品——内存数据库,为运营商海量数据和高频交易场景提供有效支撑。

图1:AntDB超融合流式实时数仓演进历程

随着通信技术2G到5G的迭代,伴随而来的是数量的指数级增长、用户量的数量级跳跃和应用场景的大爆发。亚信科技作为通信运营商的合作伙伴,能深刻感知预见技术进步带来的场景变化,能够真正地站在未来场景进行产品技术和服务的演进升级。AntDB也在这个过程中完成了7次大的迭代——从内存数据库到高可用全功能的关系型数据库,再到兼容MySQL,PostgreSQL以及Oracle的全栈式数据库,更进一步到分布式、多模原生数据库,再到现在7.2版本的超融合流式实时数仓,可以说每一步都走在了技术前沿,帮助客户有效应对了新技术带来的数据管理需求。

在15年的演进发展中,AntDB形成了多、久、快、稳四大特点:

多——服务人数多,全国超10亿的手机用户后台都在运行着AntDB数据库

久——应用时间久,从2008年应用在通信运营商核心计费系统,AntDB经历了15年业务锤炼

快——执行性能快,峰值每秒处理百万笔通信核心交易

稳——产品稳定可靠,以在通信运营商核心系统稳定运行15年,安全高效

勇担使命融合创新

国产分布式数据库迎来发展新纪元

信息技术应用创新是我国新基建的重要内容,在信创东风下,作为亚信科技自主研发的国产数据库,AntDB勇担信创使命,深入研究面向未来的数据库技术,用超融合流式实时数仓将我国数据库的发展带入新纪元:在整体架构上,提出全新的“超融合”理念,将多引擎、多能力融合在一起,实现了交易、内存计算、交易、分析、流处理、时序五大能力的融合,让一款产品对用户做到一站式的服务;通过新一代流式实时数仓引擎,从内核层面将流式计算与数据库进行融合创新,把流式处理与SQL有机地结合到一起。

图2:AntDB超融合流式实时数仓,打造分布式数据库新纪元

在实际应用中,AntDB统一框架下的超融合架构设计,有效降低了IT架构的复杂度,缩短近50%的项目开发时间;支持标准SQL语句进行业务开发,业务响应速度可以提升近90%;统一的技术架构,有效解决数据口径的一致性问题,让数据库运维管理更简单、易用。而AntDB新一代流式实时数仓引擎,则将实时的流式处理融合到50年未变的数据库引擎里,通过自身的数据库内核能力,原生地去解决实时业务中的流处理事件,对前方产生的海量业务数据进行实时预处理,从被动查询到主动推送,从实时分析到输出结果,实现核心业务数据的实时分析、实时告警,帮助企业客户实时掌握经营状态、及时调整运营策略,更快速地获取数据价值。

案例展示

解读超融合流式实时数仓的业务价值

演讲最后,北陌演示了充电桩实时服务业务场景,让与会嘉宾更加直观地感受超融合流式实时数仓的业务价值。

近年来,人们越来越多地选择新能源电动汽车作为外出旅行的方式,但“里程焦虑”困扰着电车经济的发展,途径各地充电桩的情况怎么样?空位多不多?急需一套智能化的监测服务系统,来整合、共享各地充电桩的资源信息。

那么,流式实时数仓引擎对实时业务有什么作用?对于某省充电桩实时服务的业务场景,各区域的车辆信息、当前消费信息、充电桩状态更新、充电量等数据持续到达,系统需要及时处理各种新到数据,并不断产生、输出当前的空余桩个数、今日营收的动态监控,汇总各区域营收、分时统计、整体营收分布情况等经营状态的报表。接着,再下钻到某个地区,很清晰地看到当前充电桩的分布情况和运行状态。

图3:充电桩实时服务监控示例

实际上,基于传统关系型数据库的实时预警与BI展示系统,是一种离线的批处理方式,可以成功处理TB\PB级别的海量数据,但无法应对实时数据分析需求和对消息事件的实时响应,无法满足实际的实时性的需求。

AntDB的流处理模式强调数据处理的速度,通过流式实时数仓引擎能够对新到达的数据进行及时处理,让决策者看到最新的数据变化,准确把握事态发展趋势,对突发事件进行及时响应、有效应对。

关于AntDB数据库

AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

全球分布式云大会:AntDB超融合流式实时数仓,打造分布式数据库新纪元 的相关文章

随机推荐

  • 终端对平台推送拉取数据选型

    开会讨论了一个问题 就是我们平台从终端获取到数据 经过我们的处理后 传输给另一个平台做展示 这个是实时的 要求必须经过我们平台 所以杠精住嘴 在这个传输过程中 给出了一下三个方案来传输数据 tcp websocket API 最后还是选取了
  • SpringBoot整合MyBatis

    SpringBoot整合MyBatis 转载请在文章最上方加上此句话 原文地址 http www cnblogs com zhuxiaojie p 5836159 html 前言 这段时间用springboot感觉确实挺好用的 很大程度上的
  • SQL查询优化——表分区

    1 表分区 在建表的时候将表建成分区表 2 好处 a1 提高对数据检索或操作的效率 a2 不同的分区可以保存到不同的表空间 磁盘 提高数据的安全性 a3 可以将数据分到不同的分区 a4 每个分区的数据可以独立的备份和恢复 3 表分区的方法
  • 【计算机科学】【2017.12】图像分类与回归的深度神经网络模型

    本文为意大利特伦托大学 作者 Salim MALEK 的博士论文 共98页 深度学习是机器学习的一个分支 在许多研究领域和实际中都得到了广泛应用 这种持续的发展主要可以追溯到潜在处理设施的可用性和可负担性 例如 仅在十年前 这些设施还没有普
  • np.quantile()详解

    numpy quantile numpy quantile a q axis None out None overwrite input False interpolation linear keepdims False import nu
  • Linux下的虚拟化部署

    文章目录 1 kvm安装条件 2 kvm虚拟化安装 3 kvm虚拟化相关信息 4 手动安装虚拟机 5 虚拟机管理命令 6 虚拟机在linux系统中传输 7 虚拟机快照 8 脚本执行新建 快照 修复虚拟机 9 虚拟机网络配置 1 kvm安装条
  • 硬盘的几点真相

    因为想自己修下硬盘 所以先找了远古时代的笔记本硬盘拆了看看结构 结果发现几个很有意思的地方 首先就是那个 do not cover 的小孔 相信很多人都注意到了硬盘上有个很小的小孔 从外面看进去好像是个微型可调电容 周围一圈文字 do no
  • Matlab 随机森林工具箱的配置使用

    总结一下Matlab随机森林工具箱的配置和使用 配置环境Matlab2019a windows10 vs2017 1 下载Matlab随机森林工具箱 下载地址http www buaapress com cn mzs file detail
  • java持久层框架数据源加密

    学习目标 java持久层框架数据源加密 文章目录 学习目标 1 mybatis框架数据源加密 https www cnblogs com melovemingming p 10699613 html 这里是引用https www cnblo
  • 基于HAL库的stm32的OLED显示屏显示(模拟I2C,四脚,0.96寸)

    参考视频 江科大oled程序移植stm32hal库 freertos学习 cpu使用率 哔哩哔哩 bilibili STM32入门教程 2023持续更新中 哔哩哔哩 bilibili 第一步 STM32CubeMX配置 一 时钟树配置 高速
  • vs2012配置python_Visual Studio 2012 Ultimate 上安装 Python 开发插件 PTVS

    1 我的环境 操作系统 32位 Win7 旗舰版 Service Pack 1 VS版本 Microsoft Visual Studio Ultimate 2012 版本 11 0 50727 1 RTMREL Python解释器版本 Py
  • CAD颗粒密堆积2D插件 球体重力堆积 离散元建模 分子热运动

    插件简介 CAD颗粒密堆积2D插件可用于生成二维状态下重力堆积的随机颗粒 插件可指定投放区域 颗粒的粒径范围 颗粒间的间距 颗粒个数等信息 同时可模拟颗粒弹性及摩擦摩擦系数 插件采用物理引擎对颗粒行为进行模拟 可实现颗粒在力场作用下的堆积
  • c语言小游戏 精简_C语言实现消消乐小游戏

    本文实例为大家分享了C语言实现消消乐小游戏的具体代码 供大家参考 具体内容如下 代码 include include include include include include include include using namespa
  • 线性代数-坐标系变换

    问题描述 已知一个全局坐标系 还有若干局部坐标系 如何将局部坐标系的坐标转成全局坐标系的坐标 反过来又如何进行 这里的坐标系都是直角坐标系 本文通过下面几个方面的研究来回答上面的问题 1 简单示例 2 求解过程 3 nodejs编程验证 简
  • 【数据结构与算法】数据结构知识点总结

    文章目录 前言 一 数组 一 知识点 二 常用操作代码示例 1 声明数组 2 初始化数组 3 访问数组元素 4 修改数组元素 5 遍历数组 6 数组作为函数参数 二 链表 一 知识点 二 常用操作代码示例 1 定义链表节点结构体 2 创建链
  • 从零开始到设计Python+Selenium自动化测试框架-如何开始

    如何开始学习web ui自动化测试 如何选择一门脚本语言 选择什么自动化测试工具 本人已经做测试快5年 很惭愧 感觉积累不够 很多测试都不会 三年多功能测试 最近两年才开始接触和学习自动化测试 打算写一个系列文章 关于如何从零开始到会设计和
  • 服务器修改编码格式,设置服务器编码格式

    设置服务器编码格式 内容精选 换一换 在异构计算架构中 昇腾AI处理器与CPU通过PCIe总线连接在一起来协同工作 Host CPU所在位置称为主机端 Host 是指与昇腾AI处理器所在硬件设备相连接的X86服务器 ARM服务器或者Wind
  • java基础之集合

    集合 基础里的重头戏来喽 一 集合概述 集合和数组的区别 概述 集合是java中用来存放多个 引用数据类型 数据的容器 它是解决了数组的一些弊端的一个多数据容器 他有 的操作集合的方法 比如增加和删除方法 java中集合的体系使用接口和类进
  • RAC重建OCR/Voting disk遇到的一些故障

    author skate time 2010 05 09 我的测试环境 母系统 win2003虚拟软件 vmware3 2 1guest系统 centos4 7oracle db oracle10 2 1 以下是我在重建rac的ocr vo
  • 全球分布式云大会:AntDB超融合流式实时数仓,打造分布式数据库新纪元

    日前 全球分布式云大会北京站在北京金茂万丽酒店举办 亚信科技AntDB数据库受邀参会 会上技术负责人北陌发表以 AntDB超融合流式实时数仓 打造分布式数据库新纪元 为主题的演讲 通过分享AntDB在数据库前沿技术的研发实践 与参会嘉宾一起