搜索大量大文本的最快方法

我有一个用 C# 编写的 Windows 应用程序，需要从数据库加载 250,000 行，并提供“键入时搜索”功能，这意味着只要用户在文本框中键入内容，应用程序就需要搜索所有 250,000 条记录（其中顺便说一句，单列，每行 1000 个字符）使用like搜索并显示找到的记录。

我遵循的方法是：

1-应用程序将所有记录加载到类型中List<EmployeeData>

while (objSQLReader.Read())
{
    lstEmployees.Add(new EmployeesData(
        Convert.ToInt32(objSQLReader.GetString(0)),
        objSQLReader.GetString(1), 
        objSQLReader.GetString(2)));
}

2-在 TextChanged 事件中，使用LINQ，我搜索（结合正则表达式）并附上IEnumerable<EmployeesData>到处于虚拟模式的 ListView。

String strPattern = "(?=.*wood*)(?=.*james*)";
    IEnumerable<EmployeesData> lstFoundItems = from objEmployee in lstEmployees
    where Regex.IsMatch(Employee.SearchStr, strPattern, RegexOptions.IgnoreCase)
    select objEmployee;
    lstFoundEmployees = lstFoundItems;

3- 处理 RetrieveVirtualItem 事件以在 ListView 中显示项目以显示该项目。

e.Item = new ListViewItem(new String[] { 
    lstFoundEmployees.ElementAt(e.ItemIndex).DateProjectTaskClient, 
    e.ItemIndex.ToString() });

虽然lstEmployees从 SQL Server 加载列表的加载速度相对较快（1.5 秒），在 TextChanged 上搜索，使用 LINQ 搜索需要 7 分钟以上。通过执行以下命令直接通过 SQL Server 进行搜索LIKE搜索时间不到 7 秒。

我在这里做错了什么？我怎样才能让这个搜索更快（不超过2秒）？这是我的客户的要求。因此，我们非常感谢任何帮助。请帮忙...

存储文本数据的数据库列是否有索引？如果是这样，类似于trie structure http://en.wikipedia.org/wiki/Prefix_tree尼古拉斯描述的那个已经在使用了。 SQL Server 中的索引是通过以下方式实现的B+ trees http://en.wikipedia.org/wiki/B+_tree，其平均搜索时间约为 n 的以 2 为底的对数，其中 n 是树的高度。这意味着，如果表中有 250,000 条记录，则搜索所需的操作数为以 2 为底的对数 (250,000) 或大约 18 次操作。

当您将所有信息加载到数据读取器中，然后使用 LINQ 表达式时，这是一个线性运算 (O) n，其中 n 是列表的长度。最坏的情况是 250,000 次操作。如果您使用 DataView，将会有索引可用于帮助搜索，这将大大提高性能。

最终，如果不会向数据库服务器提交太多请求，则可以利用查询优化器来执行此操作。只要在字符串前面不使用通配符执行 LIKE 操作即可（即LIKE %some_string）（否定索引的使用）并且表上有索引，您将获得非常快的性能。如果要提交到数据库服务器的请求太多，则可以将所有信息放入 DataView 中，以便可以使用索引，或者使用上面 Tim 建议的字典，其搜索时间为 O(1 )（大约为一），假设字典是使用哈希表实现的。