传统数据库“上云”之路

2023-05-16

2018云栖大会南京峰会飞天技术汇专场上,阿里云高级产品专家萧少聪从准备、迁移效率和迁移后效果三个方面分享了传统数据库迁移到阿里云数据库及后续使用情况的全链路解决方案,针对主流数据库迁移到阿里云数据库的技术及实施过程进行了详细讲述。

数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧!

直播视频回顾

以下为精彩视频内容整理:

阿里云数据库新功能

f882d247fece9a5ebc1800a917e2b4bd35639dbd

从2011年以来,阿里云数据库以高效迭代促进蓬勃发展,目前可以兼容市场主流关系型及非关系型数据库,同时还拥有多项数据库服务工具,都可以帮助用户更好的在数据库基础上解决业务问题。

双节点服务

841ba0da5bcb3530322d7b448661e6cf22932e69

阿里云数据库可以提供在两个不同可用区内,搭建起一个数据库集群。单这一项功能就为企业节约了很多设备投入成本,并且操作简单方便,只需在页面点击即可。

ec767968d4c693c27505205fe18290f79db6b55a

公司同时提供了不同地域级别的数据库集群,这项功能在阿里云数据库里面叫做容灾实例。通过容灾实例的搭建,实现到两地多中心概念。

只读实例与读写分离

a3ea2ba6073b263547c58ac005af428b49ba07fa

大家经常在工作中碰到这样的场景:双十一促销或者年终报表总结的时候,服务器出现卡顿。如何解决这样的问题?通过打开RDS上的只读节点可以达到这个需求,一个RDS最多可以申请10个节点去读取只读实例来满足用户需求。只读节点时按量进行收费的,用过之后释放即可。

efc64fc583cd02b0968717c0bb49f4f1c3e6bcc2

云数据库通过读写分离来达到只读实例使用方便。阿里云目前通过提供读写分离的DNS接口来进行拦截,其中设置Proxy层——如果是只读实例就只有查询功能,如果需要修改功能则进行增删改操作。程序员可以只修改部分连接串来达到想要的效果,把工作的时间更多的放到业务逻辑实现的方面去。

云数据库按需短期扩容

6bae4260c60187fafe116414dc418003f83f4615

双节点集群及只读实例与读写分离的设定,可以让阿里云数据库达到短期扩容的效果。用户可以根据需求选择短期扩容,去应对各项短期服务器增长。例如某公司真正需求为8核32G服务器,为了应对双十一活动需要开展弹性服务器功能。前期我们可以配合企业进行试错性升级测试,找到最合适的资源容量后预定。到达活动约定时间后云数据库扩容应对,活动结束之后工作人员自行释放资源。利用这种方式为公司节省了资源和成本,并且减少了DBA的工作难度,一劳多得。

数据库迁移方案选择

b218b442f01b1bfd3a4d1ebca4209337dabc5a83

上表是目前市场上各个主流数据库的原生方案及阿里云迁移工具的选择方案。阿里云提供两种方法:1.原生方案:DBA接受程度最高,容易实现,但是操作过程中会有停机。2.阿里云迁移工具:最短时间内实现数据库迁移,停机时间最短,操作有些难度。

OSS工具

4b889cde4b50f881ec0b0797289a5112fb705ec5

其中OSS工具为SQL Server数据库特有——使用SQL Server Management Studio生成备份数据,将备份文件上传到OSS,在云数据库SQL Server版控制台进行恢复。通过这种最传统的数据备份和恢复方法,实现了数据库迁移。

DTS原理及落地实施

DTS工具可以使得数据库迁移停机时间降低到分钟级别。上图表明DTS所支持的数据传输功能。全量数据库迁移和增量数据同步是所有数据库都支持的。DTS最开始把用户数据库做一个初始化的全量备份,然后开始增量传输数据以形成数据追赶,直到全部数据复制到云数据库后停机切换业务即可。

094cb4231b8cf03171831e03de5ec9c9c3d371d5

DTS数据迁移实施分为4个步骤:1.预检测,检测数据库是否符合云端迁移特性,如有错误会展示错误定位及修改意见,修改后继续;2.数据结构迁移;3.数据全量同步——将数据初始化后,DTS会持续的读原数据端日志文件,之后所有文件经过DTS Queue解析之后变成一种增量操作,源源不断的向目标库提交,直到两方数据库数据一致;4.停机实现应用切换。MySQL、SQL Server、PostgreSQL、MongoDB、Redis都是通过这种方式迁移数据库,同构数据库迁移都是非常方便的。

亚当原理及落地实施

1720932af46bea51cd989d02be2bb17fedc1c2f0

阿里云目前提供PPAS云数据库,可以兼容Oracle数据库,并提供亚当这个工具实现数据库迁移。亚当可以提供评估、验证、实施测评服务。

5fd82b4faf91d1ae8e7f6c34479f576a7b620ba2

在准备阶段,用户需要下载一个ADAM Agent,安装在用户Oracle这端,对Oracle一端进行内容收集。它会收集到所有Oracle上面运行过的sql语句,经过脱敏后得到数据库的架构和运行过程。阿里云拿到这些资料,会把它完整的恢复到PPAS数据库中进行运行,得知那些地方的sql语句运行不能通过,可以怎样修改。ADAM Agent是一个非常简单的信息采集器,单线程模式不会对生产模式Oracle产生任何负载,可以放心使用。

11d7aac37778e60bc78610b20cc4032ba9e37925

然后把采集到的数据传输到阿里云评估系统中,系统会按照采集到的信息,对整个Oracle数据库进行分析溯源。分析结果会非常详细的全面展示Oracle数据库的全貌并形成检测报告,达到数据迁移的条理性。

c7e220574ab4bd242137b8821379a221be1732e0

阿里云会对需要改造的sql语句进行详细说明,并且通过中间件会对底层后续的sql语句进行检测,保证用户可以成功使用阿里云服务器。

c433cf4db0cd2c3d5dbc813e5c1fd782d9814d6d

上图是做完数据验证后,亚当迁移数据库全过程。亚当系统借助特性,可以结合Oracle的Golden Gate实现数据的增量和全量,并且还支持30天内数据回流。就是说如果用户的业务切换到PPAS云数据库后,30天内PPAS上的数据会会写到你的原数据库上,保证用户在发现PPAS不能满足用户业务需求的时候可以回到原Oracle上,为用户的权益上了保险。

4f4360ac7911b65b7211d318acd2edcebca29a4c

数据迁移完成之后,怎样知道性能能否达到用户要求?阿里云服务器支持sql语句的双边对测。如果发现问题可以在PPAS上面找原因,看看需要修改的地方。逐行比对可以让用户在上线之前明确直到数据到底是不是可以承载上线压力,这样就不至于真正业务切换过来之后才发现故障问题所在。这样的双保险让用户更加的放心,到目前为止没有一个用户在用上PPAS之后再回到之前的Oracle,这也是阿里云的骄傲之处。

优化及监控

80c5637f4f92194af89c3122b15383f429643cfe

数据迁移到阿里云上面去并不是真正的高枕无忧了。阿里云也提供优化监控功能,在这里我们可以协助用户做慢SQL分析、实例空间分析、锁的资源占用,以及资源使用概览等一系列的监控,通过这些方式发现数据库的潜在问题。

b83af649f590f6b4191962a7e67efef60ef41327

上图是我们的图形数据库分析报告,当然也提供了一键诊断功能,让用户更清晰的查看到问题所在。

dd67513c1e4689043482b81fffbd38c0e08949c9

通过一键诊断,用户得到这样一个报告,并且给出修改意见。

4455fbbbcc4f62704980bb8cb32789e371fbcfd0

上图是每个sql语句的排序,当然排名在前的肯定是有问题的。我们给出的修改意见,是依赖阿里云甚至阿里巴巴这些年在数据库上的积累,提供到云端给所有用户服务。

希望大家通过演讲对阿里云有了具体的感知,也欢迎关注阿里云产品和合作。

本文由云栖志愿小组王晓慧整理编辑


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

传统数据库“上云”之路 的相关文章

随机推荐

  • 大裕量Softmax 损失函数--Large-Margin Softmax Loss for Convolutional Neural Networks

    ICML2016 Large Margin Softmax Loss for Convolutional Neural Networks 本文针对CNN网络中的 Softmax Loss 做出改进 xff0c 使之成为 Large Marg
  • Deep Learning 学习笔记(一)——softmax Regression

    Deep Learning 学习笔记 xff08 一 xff09 softmax Regression 茫然中不知道该做什么 xff0c 更看不到希望 偶然看到coursera上有Andrew Ng教授的机器学习课程以及他UFLDL上的深度
  • Debian 从稳定版升级到测试版

    2019独角兽企业重金招聘Python工程师标准 gt gt gt 1 关于Debian 的发行版本 Debian 一直维护着至少三个发行版 稳定版 stable xff0c 测试版 testing 和 不稳定版 unstable 稳定版
  • VS2010中的调试技巧

    今天的博文将介绍Visual Studio中的一些实用调试技巧 这是受我朋友Scott Cate 他发表过几十篇很棒的VS技术文章 启发 他最近告诉我 xff0c 许多Visual Studio下的程序员 xff0c 甚至一些很有经验的开发
  • 把mysql的数据导出成txt

    把mysql的数据导出成txt select a from b into outfile 39 sqlfile a txt 39 my ini里需要设置secure file priv 61 d sqlfile linux中是 etc my
  • 理解神经网络:从神经元到RNN、CNN、深度学习

    本文为 AI 研习社编译的技术博客 xff0c 原标题 xff1a Understanding Neural Networks From neuron to RNN CNN and Deep Learning 作者 vibhor nigam
  • debian 系统版本 划分、识别、演进 的释疑(升级系统须知)

    2019独角兽企业重金招聘Python工程师标准 gt gt gt debian 系统版本 划分 识别 演进 的释疑 xff08 升级系统须知 xff09 http my oschina net emptytimespace blog 84
  • vnc远程不能登录,总是提示认证错误解决

    vnc无法登陆 xff0c 总是提示验证错误 34 An authentication error occurred See the server error log for details 34 then the server will
  • JavaScript 二进制转文件

    关于在javascript下 xff0c 如何将二进制转换成相应的文件并下载 首先 xff0c 我们需要得到二进制的数据以及相应的文件格式 xff0c 没有相应的格式也可以 xff0c 可以通过二进制来判断 xff0c 但相对会麻烦很多 x
  • 子网数、主机数与子网掩码的关系

    直接拿实际的例子说吧 xff0c 这样容易理解 1 利用子网数目计算子网掩码 把B类地址172 16 0 0划分成30个子网络 xff0c 它的子网掩码是多少 xff1f 将子网络数目30转换成二进制表示11110 统计一下这个二进制的数共
  • 人脸识别“SphereFace: Deep Hypersphere Embedding for Face Recognition”

    在开放集中进行人脸识别 xff0c 理想的特征最大的类内差距应小于最小的类间差距 作者提出了angular softmax xff08 A Softmax xff09 损失函数学习angularly discriminative featu
  • 私有云拥有哪些好处?

    更高的安全性和隐私 虽然公共云服务提供了一定程度的安全性 xff0c 但是私有云是一个更安全的选择 这是通过使用不同的资源池实现的 xff0c 这些资源池的访问仅限于防火墙 专用租用线路和组织的现场内部托管 更多的控制 由于私有云只能由一个
  • 透视学如何成像

    2019独角兽企业重金招聘Python工程师标准 gt gt gt 透视学如何成像 xff1f 这其中是有规律可循的 所谓 当局者迷 xff0c 旁观者清 我们自身无法去证实或者判断透视现象的规律 xff0c 因为我们的视觉已经适应这种变化
  • win10 64位JLink v8固件丢失修复总结

    大早晨的调着调着程序 xff0c 视线没离开一会 xff0c 就发现jlink自动断开连接了 xff0c 然后重新拔插jlink 重启都不行 xff0c 才发现小灯已经不亮了 xff0c 原来是固件损坏了 xff0c 果断想办法修复这位大爷
  • STP/RSTP/MSTP的分析与对比

    一 xff0e 生成树相关的几个概念STP RSTP MSTP STP xff1a IEEE Std 802 1D 1998定义 xff0c 不能快速迁移 即使是在点对点链路或边缘端口 xff0c 也必须等待2倍的forward delay
  • 运维工程师的职责和前景

    运维工程师的职责和前景 运维中关键技术点解剖 xff1a 1 大量高并发网站的设计方案 xff1b 2 高可靠 高可伸缩性网络架构设计 xff1b 3 网站安全问题 xff0c 如何避免被黑 xff1f 4 南北互联问题 动态CDN解决方案
  • Snipaste强大离线/在线截屏软件的下载、安装和使用

    步骤一 https zh snipaste com xff0c 去此官网下载 步骤二 xff1a 由于此是个绿色软件 xff0c 直接解压即可 步骤三 使用 xff0c 见官网 ttps zh snipaste com 按F1开始截屏 感谢
  • SQL分页查询总结{转}

    开发过程中经常遇到分页的需求 xff0c 今天在此总结一下吧 简单说来方法有两种 xff0c 一种在源上控制 xff0c 一种在端上控制 源上控制把分页逻辑放在SQL层 xff1b 端上控制一次性获取所有数据 xff0c 把分页逻辑放在UI
  • Hadoop MapReduce 处理2表join编程案例

    2019独角兽企业重金招聘Python工程师标准 gt gt gt 假设文件1 表1 结构 hdfs文件名 t user txt 1 wangming 男 计算机 2 hanmei 男 机械 3 lilei 女 法学 4 hanmeixiu
  • 传统数据库“上云”之路

    2018 云栖大会南京峰会飞天技术汇 专场 上 xff0c 阿里云高级产品专家萧少聪从准备 迁移效率和迁移后效果三个方面分享了传统数据库迁移到阿里云数据库及后续使用情况的全链路解决方案 xff0c 针对主流数据库迁移到阿里云数据库的技术及实