我有一台机器,提交日志不断增加到 7.8 GB 并且仍在增长,我检查了一个属性commitlog_total_space_in_mb: 8192
这是在 cassandra.yaml 中注释的。我怀疑它必须是默认的。
1)增加提交日志大小有什么问题?
2)是否说我的内存表阈值未达到?
EDITED :
memtable_cleanup_threshold = 1/(memtable_flush_writers + 1) * (memtable_offheap_space_in_mb + memtable_heap_space_in_mb)
其中推荐值为,
memtable_flush_writers - Smaller of number of disks or number of cores with a minimum of 2 and a maximum of 8, so in our case it is '8'
memtable_offheap_space_in_mb - 1/4 of the heap size, so in our case it is 2GB
memtable_heap_space_in_mb - 1/4 of the heap size, so in our case it is 2GB
所以计算将是
memtable_cleanup_threshold = 1/(8 + 1) * 4096
memtable_cleanup_threshold = 455MB
为什么它没有刷新达到 455 MB 并删除提交日志?
是的,8192MB(或日志文件磁盘空间的 1/4,以较小者为准——如果您的服务器较小,则可以应用)是默认值。来源:关于 commitlog_total_space_in_mb 的 Cassandra 文档 http://cassandra.apache.org/doc/latest/configuration/cassandra_config_file.html?highlight=commitlog_total_space_in_mb#commitlog-total-space-in-mb.
回答您的问题:
(1) 如果提交日志文件继续增长,则可能会耗尽磁盘空间。
(2) 尚未达到配置的阈值。
在您添加其他问题后进行编辑:
刷新内存表时不会删除提交日志。
请注意,文件大小是根据您的配置大小预先分配的 - 我认为您已经弄清楚了这一点,但请注意,如果其他人尝试通过以下方式观察文件大小ls
或类似的。
If you nodetool drain
或重新启动,它们将被清除。否则,它们将继续增长到最大尺寸并旋转。
这是一个测试,看看如果强制刷新会发生什么:
nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 1292049
cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
10418
cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0
nodetool flush
nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 0
cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
10419
cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0
nodetool drain
nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 0
cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
no such file
cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0
如果它根据 memtable 配置自动刷新,您会看到类似的结果。在以下观察到的刷新过程中,提交日志也没有被清除:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)