使用 Apache Lucene 对 MySQL 数据库建立索引，并保持它们同步

1. 当MySQL中添加一个新项目时，它也必须被Lucene索引。
2. 当现有项目从 MySQL 中删除时，它也必须从 Lucene 的索引中删除。

这个想法是编写一个脚本，通过调度程序（例如 CRON 任务）每 x 分钟调用一次。这是保持 MySQL 和 Lucene 同步的一种方法。到目前为止我所做到的：

1. 对于 MySQL 中每一个新添加的项目，Lucene 也会对其进行索引。
2. 对于 MySQL 中已添加的每个项目，Lucene 不会重新索引它（没有重复的项目）。

这就是我请求您帮助管理的一点：

1. 对于每个先前添加的项目，然后从 MySQL 中删除，Lucene 也应该取消它的索引。

这是我使用的代码，它尝试为 MySQL 表建立索引tag (id [PK] | name):

public static void main(String[] args) throws Exception {

    Class.forName("com.mysql.jdbc.Driver").newInstance();
    Connection connection = DriverManager.getConnection("jdbc:mysql://localhost/mydb", "root", "");
    StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);
    IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_36, analyzer);
    IndexWriter writer = new IndexWriter(FSDirectory.open(INDEX_DIR), config);

    String query = "SELECT id, name FROM tag";
    Statement statement = connection.createStatement();
    ResultSet result = statement.executeQuery(query);

    while (result.next()) {
        Document document = new Document();
        document.add(new Field("id", result.getString("id"), Field.Store.YES, Field.Index.NOT_ANALYZED));
        document.add(new Field("name", result.getString("name"), Field.Store.NO, Field.Index.ANALYZED));
        writer.updateDocument(new Term("id", result.getString("id")), document);
    }

    writer.close();

}

PS：此代码仅用于测试目的，无需告诉我它有多糟糕:)

EDIT:

一种解决方案可能是删除任何先前添加的文档，并重新索引所有数据库：

writer.deleteAll();
while (result.next()) {
    Document document = new Document();
    document.add(new Field("id", result.getString("id"), Field.Store.YES, Field.Index.NOT_ANALYZED));
    document.add(new Field("name", result.getString("name"), Field.Store.NO, Field.Index.ANALYZED));
    writer.addDocument(document);
}

我不确定这是最优化的解决方案，是吗？

只要您让索引/重新索引与应用程序分开运行，就会遇到同步问题。根据您的工作领域，这可能不是问题，但对于许多并发用户应用程序来说却是问题。

当我们有一个作业系统每隔几分钟运行一次异步索引时，我们遇到了同样的问题。用户可以使用搜索引擎找到产品，然后即使管理人员从有效产品堆栈中删除该产品，仍然可以在前端找到它，直到下一个重新索引作业运行。这会导致向一级支持报告非常混乱且很少可重现的错误。

我们看到了两种可能性：要么将业务逻辑与搜索索引的更新紧密连接，要么实现更紧密的异步更新任务。我们做了后者。

在后台，有一个类在 tomcat 应用程序内的专用线程中运行，该类获取更新并并行运行它们。后台更新到前端的等待时间缩短至0.5-2秒，大大减少了一级支持的问题。而且，它是尽可能松散耦合的，我们甚至可以实现不同的索引引擎。