Elasticsearch 崩溃后无法恢复

磁盘空间不足，导致 Elasticsearch 分片崩溃。三个节点现在为红色，两个节点已恢复，它们的状态为黄色。 ES 的 CPU 利用率为 150%，内存利用率很高，正在尝试恢复它们。但似乎存在一些版本匹配冲突。

我清理了磁盘空间并删除了分片的 translog 以停止从 translog 加载。但令人惊讶的是，跨日志又被创建了！

请分享我如何阻止这种从 translog 恢复并恢复正常索引操作的尝试。我不想删除分片数据。

[2014-10-31 03:11:43,742][WARN ][cluster.action.shard     ] [Angela Cairn] [western_europe][4] sending failed shard for [western_europe][4], node[x5M73qVXS5eZIBdz40boEg], [P], s[INITIALIZING], indexUUID [wy-tIJqdQiynz5SGQ2IrGA], reason [Failed to start shard, message [IndexShardGatewayRecoveryException[[western_europe][4] failed to recover shard]; nested: ElasticsearchException[failed to read [tweet][527924645014818817]]; nested: ElasticsearchIllegalArgumentException[No version type match [101]]; ]]
[2014-10-31 03:11:43,742][WARN ][cluster.action.shard     ] [Angela Cairn] [western_europe][4] received shard failed for [western_europe][4], node[x5M73qVXS5eZIBdz40boEg], [P], s[INITIALIZING], indexUUID [wy-tIJqdQiynz5SGQ2IrGA], reason [Failed to start shard, message [IndexShardGatewayRecoveryException[[western_europe][4] failed to recover shard]; nested: ElasticsearchException[failed to read [tweet][527924645014818817]]; nested: ElasticsearchIllegalArgumentException[No version type match [101]]; ]]
[2014-10-31 03:11:43,859][WARN ][indices.cluster          ] [Angela Cairn] [western_europe][2] failed to start shard
org.elasticsearch.index.gateway.IndexShardGatewayRecoveryException: [western_europe][2] failed to recover shard
    at org.elasticsearch.index.gateway.local.LocalIndexShardGateway.recover(LocalIndexShardGateway.java:269)
    at org.elasticsearch.index.gateway.IndexShardGatewayService$1.run(IndexShardGatewayService.java:132)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:744)
Caused by: org.elasticsearch.ElasticsearchException: failed to read [tweet][527936245440065536]
    at org.elasticsearch.index.translog.Translog$Index.readFrom(Translog.java:511)
    at org.elasticsearch.index.translog.TranslogStreams.readTranslogOperation(TranslogStreams.java:52)
    at org.elasticsearch.index.gateway.local.LocalIndexShardGateway.recover(LocalIndexShardGateway.java:241)
    ... 4 more
Caused by: org.elasticsearch.ElasticsearchIllegalArgumentException: No version type match [116]
    at org.elasticsearch.index.VersionType.fromValue(VersionType.java:307)
    at org.elasticsearch.index.translog.Translog$Index.readFrom(Translog.java:508)

首先，检查分片本身是否确实没有问题。cd给你的/usr/share/elasticsearch/lib目录或等效项，并使用 Lucene 的 CheckIndex，如下所示：

java -cp "*" -ea:org.apache.lucene... org.apache.lucene.index.CheckIndex /var/lib/elasticsearch/<ES-NAME>/nodes/<NODE-NUMBER>/indices/<INDEX-NAME>/<SHARD-NUMBER/index/

这将检查分片是否存在问题，如果您的分片很大，则需要一段时间。

请注意，如果 Java 类路径错误，一些必需的 jar 文件将会丢失，并且 CheckIndex 可能会抛出错误并错误地声称分片中的所有段都已损坏，因此请仔细阅读输出。

如果分片出现问题，并且您没有其他方法可以恢复它，请使用以下命令运行相同的命令-fix参数将修复分片但你会丢失数据。 CheckIndex 会警告您可能会从分片中丢失多少文档（如果有）。

如果 CheckIndex 报告分片一切正常，那么希望您的问题仅出现在 translog 中。事务日志是 ElasticSearch 用于实现原子性的预写日志。崩溃后，ES 将尝试恢复分片，包括尚未刷新到分片索引本身的写入。这些都在 translog 中，所以如果你删除它，你就会失去它们。然而，这比丢失碎片要好得多。就您而言，传输日志已经损坏，我不知道有什么方法可以恢复它。

要删除用于恢复的损坏的事务日志，只需删除 translogremovingtranslog 文件位于/var/lib/elasticsearch/<ES-NAME>/nodes/<NODE-NUMBER>/indices/<INDEX-NAME>/<SHARD-NUMBER>/translog/ 对于每个受影响节点的每个相关分片。后一部分很重要，因为在从一个节点删除分片后，您可能会看到集群尝试从另一个节点重新生成分片的事务日志。

然后分片应该正确初始化，尽管像往常一样可能需要一段时间才能完成。