提交日志增长的问题

2023-12-21

我有一台机器,提交日志不断增加到 7.8 GB 并且仍在增长,我检查了一个属性commitlog_total_space_in_mb: 8192这是在 cassandra.yaml 中注释的。我怀疑它必须是默认的。

1)增加提交日志大小有什么问题?
2)是否说我的内存表阈值未达到?

EDITED :

memtable_cleanup_threshold = 1/(memtable_flush_writers + 1) * (memtable_offheap_space_in_mb + memtable_heap_space_in_mb)

其中推荐值为,

memtable_flush_writers -  Smaller of number of disks or number of cores with a minimum of 2 and a maximum of 8, so in our case it is '8'

memtable_offheap_space_in_mb - 1/4 of the heap size, so in our case it is 2GB
memtable_heap_space_in_mb - 1/4 of the heap size, so in our case it is 2GB

所以计算将是

 memtable_cleanup_threshold = 1/(8 + 1) * 4096
 memtable_cleanup_threshold = 455MB

为什么它没有刷新达到 455 MB 并删除提交日志?


是的,8192MB(或日志文件磁盘空间的 1/4,以较小者为准——如果您的服务器较小,则可以应用)是默认值。来源:关于 commitlog_total_space_in_mb 的 Cassandra 文档 http://cassandra.apache.org/doc/latest/configuration/cassandra_config_file.html?highlight=commitlog_total_space_in_mb#commitlog-total-space-in-mb.

回答您的问题:

(1) 如果提交日志文件继续增长,则可能会耗尽磁盘空间。

(2) 尚未达到配置的阈值。

在您添加其他问题后进行编辑:

刷新内存表时不会删除提交日志。

请注意,文件大小是根据您的配置大小预先分配的 - 我认为您已经弄清楚了这一点,但请注意,如果其他人尝试通过以下方式观察文件大小ls或类似的。

If you nodetool drain或重新启动,它们将被清除。否则,它们将继续增长到最大尺寸并旋转。

这是一个测试,看看如果强制刷新会发生什么:

nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 1292049

cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
10418

cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0

nodetool flush

nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 0

cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
10419

cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0

nodetool drain

nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 0

cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
no such file

cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0

如果它根据 memtable 配置自动刷新,您会看到类似的结果。在以下观察到的刷新过程中,提交日志也没有被清除:

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

提交日志增长的问题 的相关文章

  • 列族 ID 不匹配(发现为 cebcc380-72d4-11e7-9a6b-bd620b945799;预期为 c05d6970-72d4-11e7-9a6b-bd620b945799)

    我该如何解决这个错误列族 ID 不匹配 发现为 cebcc380 72d4 11e7 9a6b bd620b945799 预期为 c05d6970 72d4 11e7 9a6b bd620b945799 Caused by java uti
  • Cassandra cli:将十六进制值转换为人类可读的格式

    我开始于卡桑德拉 questions tagged cassandra 当我跑步时list or get命令在cassandra cli questions tagged cassandra cli 我得到这样的结果 default use
  • 重命名 cassandra 1.2 中的键空间和列族

    如何在 cassandra 1 2 中重命名键空间和列族 我知道不再支持 cassandra cli 重命名 api 如何在 Cassandra 中重命名键空间 https stackoverflow com questions 76491
  • 库存管理系统的 SQL 与 NoSQL

    我正在开发一个基于 JAVA 的网络应用程序 主要目的是拥有在多个称为渠道的网站上销售的产品的库存 我们将担任所有这些渠道的管理者 我们需要的是 用于管理每个渠道的库存更新的队列 库存表 其中包含每个通道上分配的正确快照 将会话 ID 和其
  • Cassandra 中的 SASI 索引似乎有一些错误

    我刚刚开始在 Cassandra 3 7 0 上使用 SASI 索引 遇到了一个问题 我怀疑这是一个错误 我几乎没有追踪到该错误出现的情况 以下是我发现的 使用 SASI 索引查询时 它可能会错误地返回 0 行 改变一点条件 它又可以工作了
  • 从 C* 表中获取不同的分区键

    cqlsh 不允许嵌套查询 因此我无法将所选数据导出到 csv 我正在尝试使用以下命令从 cassandra 导出选定的数据 大约 200 000 行 单列 echo SELECT distinct imei FROM listener s
  • 可以在 UUID 列上创建索引吗?

    是否可以在 Cassandra 中的 UUID TIMEUUID 列上创建索引 我正在测试一个模型设计 该设计在 UUID 列上有一个索引 但对该列的查询始终返回找到的 0 行 我有一个这样的表 create table some data
  • Apache Cassandra 如何进行聚合操作?

    总的来说 我对 Apache Cassandra 和 nosql 相当陌生 在 SQL 中 我可以执行聚合操作 例如 SELECT country sum age count AS averageAge FROM people GROUP
  • Datastax Cassandra OpsCenter 服务未在 Windows 7 上启动

    我是卡桑德拉的新手 我按照中提到的说明在 Windows 7 64 位上安装了 DataStax Cassandra 社区版DataStax 社区版 http www datastax com 2012 01 getting started
  • Cassandra Pojo Sink Flink 中的动态表名称

    我是 Apache Flink 的新手 我正在使用 Pojo Sink 将数据加载到 Cassandra 中 现在 我在以下命令的帮助下指定表和键空间名称 Table注解 现在 我想在运行时动态传递表名称和键空间名称 以便可以将数据加载到用
  • Cassandra 和二级索引,它们内部如何工作?

    Cassandra 二级索引内部如何运作 文档指出它是某种哈希索引 鉴于我有专栏username foobar 列用户名将是 CF 中的辅助索引 User with RandomOrderingPartitioner 我的假设是否正确 ca
  • Redis是如何实现高吞吐量和高性能的?

    我知道这是一个非常普遍的问题 但是 我想了解允许 Redis 或 MemCached Cassandra 等缓存 以惊人的性能极限工作的主要架构决策是什么 如何维持连接 连接是 TCP 还是 HTTP 我知道它完全是用C写的 内存是如何管理
  • 使用 TLS/SSL 保护 Cassandra 通信

    我们希望保护 Cassandra 免受中间人攻击 有没有办法配置 Cassandra 使客户端 服务器和服务器 服务器 复制 通信采用 SSL 加密 谢谢 简短的回答 不 对于客户端 服务器 节俭 151 https issues apac
  • Apache Nifi/Cassandra - 如何将 CSV 加载到 Cassandra 表中

    我每天都会收到多次传入的各种 CSV 文件 存储来自传感器的时间序列数据 这些传感器是传感器站的一部分 每个 CSV 均以其来源的传感器站和传感器 ID 命名 例如 station1 sensor2 csv 目前 数据存储如下 gt cat
  • Cassandra Read 花费的时间比预期要长

    我正在使用带有 CQL3 的 cassandra 1 2 我的键空间中有三个列族 当我查询其中一个列族 电话 时 需要很长时间才能检索 这是我的查询 select from phones where phone no in 90384875
  • 卡桑德拉身份验证问题

    卡桑德拉版本 apache cassandra 2 1 8 我最近配置了 2 节点集群Authenticator设置PasswordAuthenticator 当其中一个节点关闭时 我无法登录 Cqlsh 并出现以下错误 Connectio
  • Cassandra CQL v3.0 和复合类型

    我正在浏览以下文档CQLv3 0 http www datastax com docs 1 1 references cql index 我们是否应该在更新中指定复合键并选择 a b 1 以防万一comparator or key vali
  • cassandra 中的突变是什么?

    cassandra 中的突变是什么 它在做什么 我没有找到任何有关它的完整信息 您可以回答或分享带有手册或说明的链接吗 谢谢 Mutation 是一个由 thrift 生成的类 定义在cassandra thrift文件 您可以在以下位置找
  • Cassandra修复导致节点超时

    我们使用具有 5 个节点的 Cassandra 3 10 1 集群 每个节点有 8 个核心和 23Gi 内存 全部位于同一个 DC 中 复制因子 2 一致性级别 2 最近 在大约每周进行一次的计划修复期间 来自一个节点的查询出现多次超时 在
  • 如何在cassandra中保存spark流数据

    构建 sbt以下是build sbt文件中包含的内容 val sparkVersion 1 6 3 scalaVersion 2 10 5 resolvers Spark Packages Repo at https dl bintray

随机推荐

  • 如何在 Angular 6 中创建级联下拉列表(国家和州列表)

    如何在 Angular 6 中创建级联下拉列表 国家 地区和州列表 我想要在 Angular 6 中创建一个完整的国家 地区和州列表 任何知道这一点的人请分享你的想法 演示 gt 级联下拉菜单 国家和州列表 https stackblitz
  • 使用 NUnit 测试 Windows 8 应用商店应用程序

    我目前正在为一门课程开发 Windows 应用商店应用程序 Windows 8 但在运行 NUnit 测试时遇到问题 我的解决方案 项目设置如下所示 TheMetroApp sln SQLite net csproj 类库 Windows
  • 如何在 C# 中按类型查找 .cs 文件的路径

    如何按类型查找 cs 文件的路径 函数原型 string FindPath Type 返回类似 C Projects MyClass cs 的内容 在 Net 4 5中你可以使用CallerFilePath反射属性 来自MSDN using
  • 需要帮助创建 YouTube 视频列表

    我想访问 Youtube 视频并在 ListView 中显示视频的缩略图及其标题 单击缩略图后 应播放视频 任何人都可以建议一些与我的需求或链接相关的示例程序 这是我使用 URL 播放 youtube 视频的代码 这可能无法满足您的完整要求
  • 并行读取和顺序写入?

    我有以下代码 可以读取和写入每个id依次 async def main while id lt 1000 data await read async id await data write async f id csv id 1 read
  • 子集化时的逻辑条件未给出正确的值

    我想对数据框进行子集化project我正在使用逻辑 我得到了一个矛盾的结果 逻辑前面的部分ROLL NO 论证与问题无关 抱歉 我无法给出可重现的示例 请告诉我如何使这个问题可重现 而不必在我的数据框中显示相关列的全部 393 个条目 D1
  • 部署时出现 AWS Lambda 和 IAM 错误:Lambda 无法承担为函数定义的角色

    在我的 AWS 项目中 我使用无服务器框架来部署 lambda 函数和 IAM 角色 因此 我创建了 6 个 lambda 函数 全部使用下面相同的 IAM 角色 functions auto delete identity handler
  • 对象、参数、jquery

  • 与传单协调反射问题

    祝大家节日快乐 我在尝试使用 L geoJson 绘制多边形图层时注意到一个有趣的行为怪癖 考虑以下代码 var polygonCoords type Feature properties group Violations geometry
  • 在 Python 中为 Django Choice 字段创建智能循环列表

    所以 以下内容不是很 聪明 MONTHS Jan Jan Feb Feb Mar Mar Apr Apr May May Jun Jun Jul Jul Aug Aug Sep Sep Oct Oct Nov Nov Dec Dec YEA
  • Qt:QGraphicsScene 在我期望的时候没有更新

    好的 我有一个QGraphicsScene在一个叫做 眼睛 的课程中 我调用一个函数 void eye playSequence int sequenceNum for int i 0 i
  • 如何从 mysql 表中转储 blob 字段

    我正在尝试从 mysql 表中转储 BLOB 字段 但是当我使用 sqlYog 转储 blob 记录时 我得到了无价值的数据 如何备份 BLOB 类型字段 Note BLOB 字段有图像 参数 十六进制斑点当您打算将其导入到另一个数据库 如
  • 枚举与强类型枚举

    我是 C 编程的初学者 今天遇到一个新话题 强类型enum 我已经研究了一些 但到目前为止我无法找出为什么我们需要这个以及它有什么用 例如 如果我们有 enum xyz a b c a 0 b 1 c 2 Typical C format
  • matplotlib:直方图和 bin 标签

    I m trying to plot a histogram with bar chart and I m having difficulties figuring out how to align the x axis labels wi
  • 按住按键时 Swing 中的文本输入字段在 OS X 上停止工作

    我发现 OS X Yosemite 使用 Oracle JDK 8 上的 Swing 文本输入字段存在一个奇怪的问题 当我在文本输入字段获得焦点时按住任何字母或数字键时 我之后就无法再在当前 JFrame 的任何字段中输入任何内容 然后我必
  • 直接在浏览器中使用 jquery/flash 录制网络摄像头视频?

    我想让用户通过网络摄像头录制视频 然后通过浏览器将录制的视频上传到网站 这是一个完全按照我希望的网站工作方式工作的示例 只不过它似乎不捕获视频 而只是捕获图像 http www xarg org project jquery webcam
  • 新版本 Hibernate 的 hibernate3-maven-plugin 依赖项

    我想将 hibernate 3 5 1 Final 与此插件一起使用 这里我的依赖项应该是什么 它似乎正在拿起一组旧的罐子 但现在失败了
  • 无法获取项目参考的依赖项

    我有一个包含网站项目和 C 库的 C 解决方案 编译解决方案时 网站给出消息 无法获取项目引用 MyLibrary 的依赖项 当此错误消息使构建失败时 这不会停止网站编译和运行 直到我尝试使用 TFS 构建来构建它 这是什么意思 我该如何解
  • 我如何在 VBA 中调用 WebView2 和其他现代 winmd 功能

    我想在旧式 VBA 用户窗体中嵌入现代 WebView2 组件 Edge Chromium 浏览器控件 我推测我需要在系统上安装以下内容 Edge Chromium 浏览器 Webview2 SDK 虽然我安装了 Edge Chromium
  • 提交日志增长的问题

    我有一台机器 提交日志不断增加到 7 8 GB 并且仍在增长 我检查了一个属性commitlog total space in mb 8192这是在 cassandra yaml 中注释的 我怀疑它必须是默认的 1 增加提交日志大小有什么问