程序员经验分享-hwhale

数据库分片和分区资源

2023-11-25

我正在使用遇到可扩展性问题的数据库模式。该架构中的一个表已增长到大约 1000 万行，我正在探索分片和分区选项，以允许该架构扩展到更大的数据集（例如，10 亿到 1000 亿行）。我们的应用程序还必须可部署到多种数据库产品上，包括但不限于 Oracle、MS SQL Server 和 MySQL。

一般来说，这是一个大问题，我想了解一下可用的选项。有哪些关于数据库分片和分区策略的资源（书籍、白皮书、网站）？


我同意其他答案，即您应该在采用分片之前查看您的架构和索引。 1000 万行完全在任何主要数据库引擎的能力范围内。

但是，如果您需要一些资源来了解分片主题，请尝试以下操作：

  • 可扩展性最佳实践：eBay 的经验教训
  • Randy Shoup 谈 eBay 的架构原则 - 视频和演示
  • 高可扩展性站点
  • 摩尔先生开始押注于分片（什么时候不应该这样做）
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

sql

database

scalability

Sharding

databasecluster

数据库分片和分区资源 的相关文章

  • Postgres 上的 C 语言环境和 Posix 语言环境有什么区别？

    我知道 Postgres 上的数据库区域设置负责国家字符的正确顺序 正确的小写 大写等 但为什么有两种语言中立的语言环境 posix and c 它们之间有什么区别 还是只是一个中立的语言环境有两个不同的名称 UPDATE正如 Magnus

  • 如何手动设置auto_increment的下一个值？

    我手动向表中添加了一些行 并且还手动设置了 ID 自动增量 现在 当我尝试通过我的应用程序将新行添加到数据库表中时 我收到错误 创建的 ID 值已存在 如何手动设置下一个ID值 例如 在表中我必须有ID 那么如何告诉PostgreSQL 下

  • 从 CTE 插入

    WITH DTL AS SELECT CMPI CODE CMN CDTY MTRL CMI WT FACTOR CMI CNTRCT RATE PL PRESENT PRICE TRM CODE ROUND NVL PRESENT PRI

  • SQL 中的代码重用和模块化

    代码重用和模块化对于 SQL 存储过程编程来说是一个好主意吗 如果是这样 将这些功能添加到 SQL 存储过程代码库的最佳方法是什么 我通常为常见且重复的任务创建标量值函数 我发现它不仅可以简化与现有程序类似的新程序的开发 而且还有助于错误跟

  • 金融 - 计算到期收益率

    我读了this https stackoverflow com questions 1173555 open source financial library specifically yield to maturity发布关于 net 库

  • 如何使用 ALTER TABLE 添加新列并使其唯一？

    我该如何使用ALTER TABLE添加新列并使其独一无二 取决于 DBMS 但我认为以下内容相当可移植 ALTER TABLE table name ADD column name datatype ALTER TABLE table na

  • 如何查找所有mysql表之间的所有关系？

    如何找到MySQL所有表之间的所有关系 例如 如果我想知道大约有 100 个表的数据库中表的关系 有什么办法知道这个吗 从编程角度来说 更好的方法是从以下位置收集数据 INFORMATION SCHEMA KEY COLUMN USAGE表

  • 如何从实体框架中的 .edmx 文件生成数据库？

    我不得不突然转而使用 Code First Entity Framework 4 1 一开始我对这个框架一无所知 但在过去的 8 个小时里 我现在对阅读博客和文章感到更加自在 特别是这个博客 http blogs msdn com b ad

  • MySQL解释更新

    作为我大学复习的一部分 我试图回答以下问题 至少在表的一个属性上创建索引 employees 数据库 您可以在其中使用 MySQL EXPLAIN 工具 清楚地显示好处 在条款或检索方面 和负面 在 更新条款 创建相关索引的信息 对于第一部

  • 法语和西班牙语的特殊字符可以保存在 varchar 中吗？

    法语和西班牙语中有普通英语中不使用的特殊字符 重音元音等 varchar 是否支持这些字符 或者我需要一个 nvarchar 吗 注 我愿意NOT希望讨论我是否应该使用 nvarchar 还是 varchar 您在谈论什么 SQL 实现 我

  • 如何在oracle中获取表作为输出参数

    我正在尝试将 Oracle 过程调用的 out 参数强制转换为对象 它不起作用 因为 据我了解 我需要定义一个映射 它告诉方法如何转换它 如果地图为空或未正确填充 则它默认为 STRUCT 类型的对象 在我的情况下这是错误的 我已经构建了一

  • 与常规 SQL 查询不同，为什么“linq to sql”查询以 FROM 关键字开头？

    为什么 linq to sql 查询以FROM与常规 SQL 查询不同的关键字 LINQ 模仿Logical Query processing在 SQL 中你有 8 SELECT 9 DISTINCT 11 TOP 1 FROM 2 ON

  • 过滤项目来源

    通过此代码 我设置了数据网格的 ItemsSource 不过 我有更多的 wpf 控件来过滤数据网格 例如从时间范围过滤数据网格 我可以为此编写一个新查询 但这似乎没有必要 因为数据已经可用 我只需要过滤它 最好的方法是什么 我能得到的任何

  • 尚未为此带有 SQL Server 的 DbContext .NET Core 配置数据库提供程序

    我一直用这个把头撞在墙上 并且一直在谷歌上搜索无济于事 我刚刚开始一个新的 ASP NET Core MVC 项目 我已将这两个包安装 更新为 2 2 0 Microsoft EntityFrameworkCore SqlServer Mi

  • If Else 条件的 SQLite 语法

    我正在使用 SQLite 数据库 我的表有一个名为 密码 的文本列 早些时候 为了检索我用来执行简单操作的值select from myTable询问 但现在的要求是 如果Password值不是NULL那么我需要将其显示为 是 或 否 它是

  • 如何将此本机 SQL 查询转换为 HQL

    所以我有这个很长的复杂的 Native SQLQuery string hql SELECT FROM SELECT a rownum r FROM select f2 filmid f2 realisateurid f2 titre f2

  • 常量值如何影响连接的 ON 子句？

    我最近发现 LEFT JOIN 的 ON 子句可能包含 1 1 等值 这让我感到不安 因为它打破了我对连接功能的看法 我遇到过以下情况的更详细版本 SELECT DISTINCT Person ID FROM Person LEFT JOI

  • 从复选框列表中选择循环生成的复选框中的一个复选框

    抱歉我的英语不好 在我的 ASP NET 网站上 我从 SQL 表导入软件列表 看起来像这样 但实际上要长得多 Microsoft Application Error Reporting br br Microsoft Applicatio

  • ActiveRecord 查询，按关联排序，最后一个 has_many

    我试图列出所有Users by the created at最近创建的关联记录 通讯 列 到目前为止我所拥有的 User includes communications order communications created at IS

  • Postgresql：SERIAL 在约束 INSERT 失败时递增

    有一个像这样的简单表结构 CREATE TABLE test id INT PRIMARY KEY sid SERIAL 我注意到如果我尝试插入一行但它未通过约束测试 即主键约束 SERIAL计数器无论如何都会增加 所以下一次成功插入 si

随机推荐

  • Xcode 界面生成器未检测到 Admob 框架类

    我一直在尝试在我的 iOS 应用程序中实现原生 Google adMob 广告 并遵循 admob 官方教程 https developers google com admob ios native advanced 无论我是手动添加所需的

  • c# 中的 blackmagic SDK

    我正在尝试在 windows7 64x 上使用最新的 SDK 2011 年 6 月 和 C VS 2010 Express 从一张 blackmagic 强度专业卡捕获 720p 我已经成功编译并运行了一个以 YUV 捕获帧的程序 但是 捕

  • 使用 Moq 模拟 nHibernate QueryOver

    测试时 以下行因空引用而失败 var awards session QueryOver Where x gt x BusinessId int business List 我的测试是这样的 var mockQueryOver new Moc

  • MongoDB 子文档嵌套文档验证

    我得到了一份结构如下的文档 我的问题是如何在数据库端进行嵌套部分 角色 验证 我的要求是 角色大小可以为 0 或大于 1 如果创建了角色 则存在角色的 name 和created by id 123456 name User Name ro

  • bootstrap-table-filter-control 扩展在 bootstrap-table 中不起作用

    I use 引导表并想使用表过滤器控制扩大 在this您可以通过示例了解如何使用此扩展 当我想将此扩展用于更多列时 它不起作用 在我的示例中 过滤器仅适用于一列 jsfiddle html table class table table s

  • 如何使用GDI+绘制ARGB位图？

    我有有效的HBITMAP的句柄ARGB类型 如何使用它来绘制GDI 我尝试过方法 graphics DrawImage Bitmap FromHBITMAP m hBitmap NULL 0 0 但它不使用 Alpha 通道 我有工作样本

  • Angular js 缩小后出现错误。错误：[$injector:unpr] 未知提供者：eProvider <- e <- makeErrorsDirective

    我使用 Gulp 来缩小整个 js 文件 缩小后 我收到如下错误 injector unpr Unknown provider eProvider lt e lt makeErrorsDirective 我的控制器文件中有一个自定义指令 v

  • 从 Common Lisp 中的嵌套循环返回

    我正在尝试将此 Python 代码转换为 Common Lisp for a in xrange 1 1000 for b in xrange a 1000 c a 2 b 2 0 5 s a b c if s 1000 return a

  • 并行运行单元测试

    有谁知道是否有办法在 Visual Studio 中并行运行不同的 测试方法 NUnit 2 5有一个选项支持并行运行单元测试 这与 VS 内置的单元测试框架无关 但可以使用正确的插件在 VS 内运行 NUnit 测试

  • 如何在 MKAnnotations 上方显示 MKOverlay？

    我正在尝试使用MKOverlay 特别是MKPolyline 在地图上显示路线 但是 我需要路线显示在我现有的引脚上方 自定义MKAnnotationViews 有没有好的方法可以带MKPolyline到引脚上方的前面 研究注释层可能会很有

  • 禁用 NSOutputStream 的 Nagle 算法

    我正在使用创建多人游戏MPCF 您可以使用 iPhone 在 iPad 上控制宇宙飞船 我在随机时间和间隔内经历了各种程度的滞后和延迟以及缓冲 暂停 现在已登陆苹果技术问答 NW26讨论禁用 Nagle 算法的论文 我正在尝试 但我的程序不

  • 如何在 jQuery 中动态添加锚点/href

    我是 jQuery 新手 我正在尝试将所有手机类转换为带有 h ref 的锚点 我拥有的 div class phone 111 111 1111 div div class phone 666 555 4444 div 我想要的是 div

  • 将项目添加到 ember-data 的过滤结果中

    我有一个DS Store它使用DS RESTAdapter and a ChatMessage对象定义如下 App ChatMessage DS Model extend contents DS attr string roomId DS

  • 如何使用c停止终端中的回显？

    假设我正在使用 fgets 读取字符串 并且我想防止该字符串的字符在终端内部回显 没有 bash 技巧 我怎样才能做到这一点 假设您在 POSIX 兼容操作系统上运行 您需要使用本地控制终端 termios 标志stdin using tc

  • 应用程序恢复时 android.support.v4.app.Fragment.setUserVisibleHint 空指针

    我在片段代码中的应用程序恢复时发生崩溃 我自己从未见过这种崩溃 但我通过 TestFlight 收到了用户返回的崩溃报告 我想我缺少一些东西 因为代码在大多数机器上运行良好 任何帮助将不胜感激 这是调用堆栈 java lang NullPo

  • 处理未在动态对象上定义的 C# 方法（又名 respond_to/method_missing）

    考虑到 C 4 中新的动态支持 是否可以以这样的方式编写一个类 如果在实例上调用方法并且该方法不存在 则将调度传递给另一个方法 这可能看起来像 public class Apple private MethodMissing string

  • 如何使MySQL表主键自增并带有一些前缀

    我有这样的桌子 table id Varchar 45 NOT NULL AUTO INCREMENT PRIMARY KEY name CHAR 30 NOT NULL 我想增加我的 id 字段 例如 LHPL001 LHPL002 LH

  • 如何强制 .NET 应用程序以 32 位模式运行

    我正在尝试在 Win7 x64 上运行我的 NET 3 5 WinForms 应用程序 该应用程序使用 NHibernate 和 System Data OracleClient 来访问 Oracle 数据库 Oracle客户端是32位的

  • 调暗屏幕并阻止与 BottomSheets 的交互

    BottomSheetBehavior 已在 Android 设计支持库 23 2 中引入 但它不会使屏幕的其余部分变暗 也不会阻止与 UI 的其余部分的交互 无论如何这可以实现吗 public class BottomSheetDimme

  • 数据库分片和分区资源

    我正在使用遇到可扩展性问题的数据库模式 该架构中的一个表已增长到大约 1000 万行 我正在探索分片和分区选项 以允许该架构扩展到更大的数据集 例如 10 亿到 1000 亿行 我们的应用程序还必须可部署到多种数据库产品上 包括但不限于 O

热门标签