如何实现32.5万笔/秒的交易峰值?阿里交易系统TMF2.0技术揭秘

2023-11-01


阿里妹导读:基于TMF 2.0关键模型,阿里交易平台实现了业务定义可视、可管、可配。今天我们来一起了解交易平台遇到的挑战、TMF2.0解决的关键问题、以及TMF 2.0的关键模型。


本文作者为毗卢,阿里巴巴资深技术专家,主导设计了TMF2.0框架,并基于该框架完成交易平台架构升级改造,目前负责商品中心,专注电商领域业务建模与工程交付相结合的研究与平台推广。


交易平台遇到的挑战


2017双11,交易峰值达到了32.5万笔/秒,这给整个交易系统带来了非常大的挑战。


一方面,系统需要支撑全集团几十个事业部的所有交易类需求:要考虑如何能更快响应需求、加快发布周期;如何能为新小业务提供快速支撑、降低准入门槛;是否足够开放使得业务方能做到自助式扩展;新需求是否已经在其他事业部有可复用资产等问题。


另一方面,整个电商体系涉及的应用高达7000+:要考虑需求的评估是否具有全链路视角;业务需求的技术评估是否分析全面、技术方案的影响范围是否评估到位;业务的全链路稳定性保障、调用链路监控、强弱依赖等问题。此外面对每天几百个业务需求,500+个独立的发布变更:要考虑各业务方的需求发布是否会相互产生影响;需求代码是否对平台有侵入、导致平台腐化;高频率的需求发布下如何管控质量;能否按业务维度进行业务监控、故障分析等等。


TMF2.0解决的关键问题


面对这些挑战,TMF2.0框架需要解决六大关键问题。


  • 业务可视化:平台能力、业务规则决定是否对外透出;

  • 需求结构化支持:基于透出的业务能力、已有的业务规则完成需求结构化分解降低沟通成本;

  • 业务配置化:这是可视化的前提,要在需求明确的情况下在线配置业务、快速发布上线;

  • 业务测试一体化:根据修改的代码进行自动化用例筛选、自动化测试;

  • 业务监控:以精细化的业务维度进行监控,而不仅仅局限于交易大盘;

  • 故障排查:当业务故障时快速拿到故障快照、还原故障现场以及迅速定位问题原因。


针对以上六大关键问题,TMF2.0的关键设计点有以下三个层面。


首先,需要实现业务/平台分离插件化架构。平台提供插件包注册机制,实现业务方插件包在运行期的注册。业务代码只允许存在于插件包中,与平台代码严格分离。业务包的代码配置库也与平台的代码库分离,通过二方包的方式,提供给容器加载。


其次,要统一业务身份。平台需要能有按“业务身份”进行业务与业务之间逻辑隔离的能力,而不是传统SPI架构不区分业务身份,简单过滤的方式。如何设计这个业务身份,也成为业务与业务之间隔离架构的关键。


另外,要注重管理域与运行域分离。业务逻辑不能依靠运行期动态计算,要能在静态期进行定义并可视化呈现。业务定义中出现的规则叠加冲突,也在静态器进行冲突决策。在运行期,严格按照静态器定义的业务规则、冲突决策策略执行。


下文将针对这三块的内容分别展开来详细介绍。


业务定制包与平台分离的架构



如上所示的业务定制包与平台分离架构可以分为四个层次。最底层是交易规范层,包括一些交易模型、交易领域的划分、业务领域的划分、以及交易启动环境下的配置项。基于这个理论模型,就可以进行一些定义及规范工作,比如接口定义、流程规范、模型规范等,而且其中的很多内容都可以在不同的领域进行复用。


上面一层是解决方案层。大家都知道阿里巴巴目前正在走国际化的战略,所以面对不同的市场会构建不同的解决方案,不同的解决方案中也就有自己不同的业务玩法、业务逻辑。所以要将不同的市场解决方案和他们自身的流程、规则结合起来。但是这一过程中会发现,不同的市场解决方案会有很多可以复用的地方,比如营销模式。所以形成的可复用基础实现就可以在不同的解决方案中得到复用,那么在面对不同的市场时就不用考虑可复用基础实现的内容,只需要关注市场相关的业务就可以了。


往上一层是业务定制层。即使是在一个市场内,也会有各种细分的定制玩法,这些不同的细分点就会有各自不同的业务逻辑,这就是制定业务定制层的原因。团队会根据底层的需求点来进行一些业务定制包的组装,就可以实现不同的业务逻辑和玩法了。


在这样一个复杂的分离架构中,最重要的是要将不同层次间的职责划分清晰,整个代码都严格地、有意识地进行分离。所以在最后的部署过程中,首先要完成底层业务的复用,然后形成不同市场的解决方案,再在解决方案下对不同的业务实现差异化。


业务身份定义标准化


上面所讲的是业务和平台的分离,在业务和平台分离之后就要进行业务和业务之间的隔离,即统一的业务身份,类似于身份证号码,在整个交易链路上必须是唯一的。业务身份需要通过人、货、场三个维度进行抽象,比如市场类型、垂直市场、渠道来源等等,确定了这个唯一的业务身份后就可以将业务流程和业务规则进行关联。


基于业务识别,团队也提供了一个基于UIL的业务身份识别方案,总体设计基于标准模型来抽象,自定义语法,统一管理模型。事实上,通过样品模型、买家模型、卖家模型、类目模型这四个维度,99%的商品都可以有效地进行标识。业务身份确定后,就可以按照业务身份维度,对业务配置、部署进行统一管理,在这其中要注意配置隔离性、热部署、配置回滚、配置确定性等核心要素。


业务管理域与运行域分离的框架



业务身份确定后就要进行业务定义,这其中就涉及管理域和运行域分离的问题。管理域就是指对业务生命周期、业务身份、业务对象进行定义,包括业务流程、业务管理等。这些操作完成之后就会将配置文件下发,运行域上的各种平台就会自动解析配置域所下发的配置文件,然后将配置文件解析成业务命令来执行。


在上面所讲的业务域中,一个核心的问题就是如何定义业务:核心三要素是业务身份、业务叠加关系、冲突决策,即基于业务协议标准定义业务,执行单元按协议执行业务逻辑。




在业务叠加关系中,业务的复杂度就在于业务规则在不同维度下产生的冲突。业务的复杂度可以分为两个维度,一个是横向维度,一个是垂直维度。


垂直维度,也可称之为“行业”。往往一个特定的“业务对象”(如商品),在静态期就能确认其具体归属于哪个行业。行业与行业之间的业务规则是不会有叠加的。比如,付款超时时间,各可以设置为1天超时。但“天猫汽车”把超时时间改了,一定不会联动改其他业务的超时设置。横向维度,也称为产品维度,特点有:产品是可以被多个垂直业务所使用的、一个垂直业务是可以使用多个产品的、产品是否生效是需要结合业务会话的。比如,“电子凭证”是否生效,要看用户是否选择了“电子凭证”的交付方式。


通过业务复杂度的分析,可以得出一个结论是:一次业务会话完整的规则=1个垂直业务规则集合+ N个水平业务规则集。所以在做业务定义和管理的时候,具体就是在管某一个垂直业务是和哪些横向业务在叠加。在叠加之后产生的业务冲突又是怎么解决的?要基于这一点进行业务管理。这是比较关键的一点。


TMF 2.0的关键模型介绍


基于以上的业务域介绍,下面详细阐述一下TMF 2.0的关键模型,主要包括业务配置主线和业务运行主线。



在业务配置主线中,由项目的业务PD来看一下当前业务涉及到哪些业务域,以及这些业务域下面有哪些功能和产品可以去使用,哪些业务点是可以去扩展的。这其中就需要能力域模型的支撑,通过这个模型所透出的结构化数据,来研究平台中每个域具备的能力、每个能力具有的可变点,从而有针对性地进行设置。在配置模型里,通过关键的视图模板,进行模板透出,然后保存、下发配置数据到业务运行主线。业务配置主线和业务运行主线是相交互的。


基于TMF 2.0关键模型,整个交易平台实现了业务定义可视、可管、可配。业务定义可视化包括系统能力可视化、业务流程可视化、业务规则可视化、产品叠加可视化等;业务可配置,所见即所得的业务规则可配置能力,凡是基于TMF2标准构建的系统均立刻可获取业务可配置能力,不需做额外的开发;配置版本化,针对业务配置有完善的版本化管理机制,配置推送可实现按版本快速生效或者回退;业务多租户管理,不同的业务系统之间可以通过租户完全隔离的。不同的租户有自己的数据空间,以及配置推送策略。


在实际应用中,基于TMF2.0交易平台改造效果具体如下:


  • 业务需求平均开发周期缩短至12天。比如汽车4S服务中,在老系统上做了一个月(未完成),新系统7天完成;五道口业务中,在老系统中评估工作量两个月,新系统12个工作日完成;饿了么业务中,老系统评估要两周,基于新系统2天完成。

  • 平台与业务解耦。目前已完成的业务,其业务定制均只存在于业务包;在平台未改动情况下,业务方的发布更加灵活(有多次单业务发布,不需要其他业务方进行回归的案例)。

  • 业务资产库。积累形成了50+业务资产库,新业务可快速进行快速复制、调整并发布。




你可能还喜欢

点击下方图片即可阅读



敏捷开发的根本矛盾是什么?

从业十余年的工程师在思考



阿里小蜜这一年,

经历了哪些技术变迁?



前端工程师的未来在哪里?



关注「阿里技术」

把握前沿技术脉搏

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何实现32.5万笔/秒的交易峰值?阿里交易系统TMF2.0技术揭秘 的相关文章

  • JavaScript的异步编程async、await

    1 async关键字 先说一下async的用法 它作为一个关键字放到函数前面 用于表示函数是一个异步函数 因为async就是异步的意思 异步函数也就意味着该函数的执行不会阻塞后面代码的执行 例如 async function timeout
  • Unity-3D物体的遮罩

    转自 http blog csdn net obilang article details 43878607 大致需要用到的东西 shader 材质 深度摄像机 unity实现2D遮罩找了许多的解决方法 这个是我采取的一种方法 比较便捷 但
  • c++多重继承和虚继承

    多重继承 多重继承是指从多个直接基类中产生派生类的能力 多重继承的派生类继承了所有父类的属性 struct Base1 Base1 default Base1 const string Base1 shared ptr
  • Jenkins+docker自动化部署

    参考文献 Jenkins与Docker的自动化CI CD实战 附源码 李振良 阿良 51CTO博客 遇到的问题 1 我们使用的jdk放置了微信专用的jar 所以自己建了一个基础镜像 参考文献 Docker JDK镜像制作 陌生谁家年少 CS
  • socket编程的 sendto 函数

    http see xidian edu cn cpp html 372 html 相关函数 send sendmsg recv recvfrom socket 头文件 include
  • ceph-pg状态详解

    Creating 含义 PG正在创建 引起原因 创建pool的时候 根据指定的pg数量进行创建pg时出现的状态 正常状态 后果 无 解决方案 无需解决 正常状态之一Peering 含义 PG之间进行互联 就其中的对象和元数据状态达成一致 引
  • 认识区块链,认知区块链— —通证、公链

    引子 上周末分享会 胡子俱乐部请到了两位已经有区块链落地实践的大咖 一个是专注于联盟链的金股链 另外一个就是专注于内容分发领域的ulord 会议议题主要集中在公链的发展以及落地的实践 一上午的讨论 意犹未尽 期间就比较关注的内容 做了笔记
  • CH6-集合 (5个案例实现)

    案例6 1 库存管理系统 案例介绍 1 任务描述 像商城和超市这样的地方 都需要有自己的库房 并且库房商品的库存变化有专人记录 这样才能保证商城和超市正常运转 本例要求编写一个程序 模拟库存管理系统 该系统主要包括系统首页 商品入库 商品显
  • 【随笔记】全志平台 gpio-leds 驱动应用

    硬件信息 内核版本 Linux 4 9 硬件原理 GPIO 通过一颗 MOS 管 2N7002ET1G 接到 LED 负极 LED 正极接电源 GPIO 通过拉高导通 MOS 将 LED 接地 实现点亮 LED 内核配置 配置内核驱动 ma
  • Cannot find name ‘console‘. Do you need to change your target library?ging the ‘lib‘ compiler option

    错误展示 Cannot find name console Do you need to change your target library ging the lib compiler option to include dom 2 co
  • 服务器在机柜中的安装位置,服务器上机柜的安装方法

    服务器上机柜的安装方法 内容精选 换一换 安装依赖时 使用pip3 7 5 install xxx命令安装相关软件时提示无法连接网络 且提示 Could not find a version that satisfies the requi
  • 编译脚本(build.sh),执行脚本(start.sh),停止脚本(stop.sh)

    编写一个服务程序后 通过这三个脚本去编译 执行 停止 build sh脚本文件 bin bash 1 该行是如果出现错误 就退出脚本执行 set e 设置基本环境变量start export LC ALL en US UTF 8 1 BAS
  • Dockerfile、docker-compose、docker网络以及Portainer安装

    文章目录 1 安装mysql主从复制 2 安装redis集群 分布式存储案例 2 1 cluster 集群 模式 docker版 哈希取余分区 一致性哈希算法分区 哈希槽分区 2 2 3主3从redis集群配置 2 3 主从容错切换迁移 数
  • DeepBrainNet论文阅读笔记

    论文题目 MRI signatures of brain age and disease over the lifespan based on a deep brain network and 14 468 individuals worl
  • Caused by: java.lang.ClassNotFoundException: Didn’t find class on path apk Android Studio解决方案

    标签 android studio ClassNotFoundException library 尊重远程 转载请注明出处 http blog csdn net a740169405 article details 50351039 错误原
  • DC-DC自举电容(BOOT)几个问题

    在BUCK电路中 经常会看到一个电容连接在芯片的SW和boot管脚之间 这个电容称之为自举电容 关于这个电容 有以下几个问题 自举电容有什么用 以MPS的buck芯片MP1484为例 规格书中芯片的BS管脚说明如下 在BS和SW之间接一个0
  • 数字信号处理知识点

    数字信号处理知识点 1 频谱图中 横坐标取值范围的含义 2 MATLAB常用函数 2 1 波形产生 2 2 滤波器分析 2 3 滤波器实现 2 4 线性系统变换 2 5 滤波器设计 2 5 1 FIR滤波器 2 5 2 IIR滤波器 2 6
  • vue Cannot create property ‘xxx字段‘ on string

    看一下入参格式是否正确
  • const char *、char const*、char *const三者的区别

    一 const char 对于const char s来说 const char 是指向常量的指针 而不是指针本身为常量 可以不被初始化 该指针可以指向常量也可以指向变量 只是从该指针的角度而言 它所指向的是常量 s是不变的 s是可以改变的
  • git如何提交功能分支代码

    1 当你要写一个功能之前 先创建一个分支 在项目的终端输入 例如 git checkout b login 现在我们就创建了一个login登录分支 输入git branch 可以看到我们正处在login这个分支上面 2 当你写完这个登录功能

随机推荐

  • 数组越界访问会发生什么错误?怎样避免该错误?_SEGMENTATION FAULT IN LINUX 原因与避免...

    原作者 ZX WING xing5820 163 com 写得很好 加上之前的确遇到过很多信号问题 产生了很多疑问 1 什么是 Segmentation fault in Linux 我们引用wiki上的一段话来回答这个问题 A segme
  • vue 3.x 的生命周期函数与vue2的变化

    vue3 中取消了 beforeCreate与 created 这两个生命周期函数 其他的生命周期函数也发生了改变 图标中左侧是vue2中的名称 右侧是对应的vue3中的名称 beforeMount onBeforeMount mounte
  • Kibana介绍、安装和使用

    ELK中的K Kibana 下面就Kibana对ES的查询监控作介绍 就是常提到的大数据日志处理组件ELK里的K 什么是Kibana 现引用园友的一段对此的介绍 个人觉得比较全 Kibana是一个针对Elasticsearch的开源分析及可
  • Linux网络编程——TCP编程

    文章目录 前言 tcp编程相关函数 1 socket函数 2 bind函数 3 listen函数 4 accept函数 5 connect函数 6 send函数 7 recv函数 8 close函数 总结 前言 tcp编程的实现流程 tcp
  • IOException parsing XML document from class path resource [applicationContext.xml]

    今天在学习Spring框架时遇到了错误 经过报错分析发现是applicationContext xml文件位置放错了 在本地测试时 applicationContext xml文件应该放在src目录下 在服务端测试时放在WEB INF目录下
  • unity dll 位置

    在unityengine里面加 cs 然后在vs里面中看 C Program Files x86 Reference Assemblies Microsoft Framework NETFramework v3 5 Profile Unit
  • linux性能监控工具

    这本阿里P8撰写的算法笔记 再次推荐给大家 身边不少朋友学完这本书最后加入大厂 Github 疯传 史上最强悍 阿里大佬 LeetCode刷题手册 开放下载了 引言 对于系统和网络管理员来说每天监控和调试Linux系统的性能问题是一项繁重的
  • 虚拟机安装Kali Linux操作系统

    博主主站地址 微笑涛声 www cztcms cn Kali Linux是基于Debian的Linux发行版 设计用于数字取证操作系统 每一季度更新一次 由Offensive Security Ltd维护和资助 最先由Offensive S
  • 超详细!Win10(UEFI启动)安装Ubuntu18.04双系统

    UEFI模式 首先必须说明的是 有两种不同的启动模式 在安装双系统的时候的操作也不尽相同 本文是针对UEFI启动模式的安装双系统的成功案例 如果您的计算机的启动模式是Legacy 请参考其他文章 如何知道自己的电脑是哪种启动模式 找到 运行
  • VoiceChat使用心得:探索沟通的全新维度

    在数字时代 沟通方式的多样性为我们提供了更多选择 最近 我发现了一个令人兴奋的新工具 它让我重新审视了沟通的全新维度 VoiceChat 作为一个热衷于技术和交流的人 我迫不及待地想分享一下我的使用心得 VoiceChat是一种即时语音通话
  • c语言实现等价关系的判断以及等价类的输出

    原理 设X 1 2 3 n 关系R的关系矩阵是M mij 判断等价关系 1 R是自反的 lt gt m11 m22 mnn 1 2 R是对称的 lt gt lt gt mij mji 3 R是传递的 lt gt tr R R 求等价类 如果
  • C#语言参考

    C 语言参考 注意 本文并非最终文档 在最终的商业版本发布前 可能会有重大修改 而且 它属微软公司所有 它是根据接受者和微软公司间的非公开协议公布的 本文档只是为了报告的目的提供的 并且 在本文档中 微软公司并没有作任何明示或暗示的担保 对
  • Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution论文阅读笔记

    题目 Deep Laplacian Pyramid Networks for Fast and Accurate Super Resolution 中文 深度拉普拉斯金字塔网络 可实现快速 准确的超分辨率 参考 摘要 本文提出了拉普拉斯金字
  • virtual,override,new ,extern,abstract修饰符

    方法定义中可以使用的修饰符有 a new b public c protected d internal e private f static g virtual h override i extern j abstract 对于virtu
  • 常见混沌系统—Lorenz模型

    1963年 Lorenz发现了第一个混沌吸引子 Lorenz系统 从此揭开了混沌研究的序幕 概念 在数学中 一个动力系统被称为自治的 当且仅当这个系统由一组常微分方程组成 并且这些方程的表达式与动力系统的自变量无关 在有关物理的动力系统中
  • zip压缩,使用org.apache.tools.zip实现zip压缩和解压

    1 使用apache的ant解压 org apache tools zip 2 引入pom
  • echarts解决X轴溢出数据,echarts中的boundaryGap属性

    xAxis type category boundaryGap false true才是正常的 data Date 注意 把这个设置为true才是正常的 如果设置为false两端没有留白 就会导致数据溢出
  • 同个局域网内SSH远程Ubuntu系统

    荣誉认证 51CTO博客专家博主 TOP红人 明日之星 阿里云开发者社区专家博主 技术博主 星级博主 微信公众号 iOS开发上架 本文由iOS开发上架原创 文章目录 前言 在Ubuntu系统下如何实现不同系统间的SSH连接 同一局域网环境
  • C++ 内存分区模型

    本阶段注意针对C 面向对象编程计算左详细讲解 探讨C 中的核心和精髓 1 内存分区模型 C 程序在执行时 将内存大方向划分为4个区域 1 代码区 存放函数体的二进制代码 由操作系统进行管理的 2 全局区 存放全局变量和静态变量以及常量 3
  • 如何实现32.5万笔/秒的交易峰值?阿里交易系统TMF2.0技术揭秘

    阿里妹导读 基于TMF 2 0关键模型 阿里交易平台实现了业务定义可视 可管 可配 今天我们来一起了解交易平台遇到的挑战 TMF2 0解决的关键问题 以及TMF 2 0的关键模型 本文作者为毗卢 阿里巴巴资深技术专家 主导设计了TMF2 0