让日志读取高效

我有一个用于监视数据库的 perl 脚本，我正在尝试将其编写为 powershell 脚本。

在 perl 脚本中，有一个函数可以读取错误日志并过滤出重要的内容并将其返回。它还保存日志文件的当前位置，以便下次必须读取日志时，它可以从剩下的位置开始，而不是再次读取整个日志。这是通过使用tell功能。

我有一个想法使用 Get-Content cmdlet，并从最后一个位置开始读取，处理每一行直到文件末尾，然后保存该位置。

您是否知道任何技巧，以便我可以在读取后获取日志文件中的位置并使读取从特定位置开始。

或者是否有更好和/或更简单的方法来实现这一目标？

Gísli

编辑：这必须通过脚本完成，而不是使用其他工具。

编辑：所以我正在使用 .NET API，但它不太适合我。 我找到了有用的链接here https://stackoverflow.com/questions/4192072/how-to-process-a-file-in-powershell-line-by-line-as-a-stream and here https://stackoverflow.com/questions/1262965/c-how-do-i-read-a-specified-line-in-a-text-file

这是我到目前为止所拥有的：

function check_logs{
param($logs, $logpos)
$count = 1
$path = $logs.file
$br = 0
$reader = New-Object System.IO.StreamReader("$path")
$reader.DiscardBufferedData()
$reader.BaseStream.Seek(5270, [System.IO.SeekOrigin]::Begin)
for(;;){
    $line = $reader.ReadLine()
    if($line -ne $null){$br = $br + [System.Text.Encoding]::UTF8.GetByteCount($line)}
    if($line -eq $null -and $count -eq 0){break}
    if($line -eq $null){$count = 0}
    elseif($line.Contains('Error:')){
        $l = $line.split(',')
        Write-Host "$line  $br"
    }
}

}

我还没有找到正确使用seek功能的方法。有人能指出我正确的方向吗？

如果我运行它，它会输出 5270，但是如果我运行它，但没有尝试在基本流中查找的行，我会得到：

2011-08-12 08:49:36.51 Logon       Error: 18456, Severity: 14, State: 38.  5029
2011-08-12 08:49:37.30 Logon       Error: 18456, Severity: 14, State: 38.  5270
2011-08-12 16:11:46.58 spid18s     Error: 1474, Severity: 16, State: 1.  7342
2011-08-12 16:11:46.68 spid18s     Error: 17054, Severity: 16, State: 1.  7634
2011-08-12 16:11:46.69 spid29s     Error: 1474, Severity: 16, State: 1.  7894

其中第一部分是从日志中读取的行，末尾的数字表示在该点读取的字节数。正如您所看到的，我现在尝试使用查找函数来跳过第一个错误行，但正如我之前所说，如果我使用查找函数，输出将为 5270。

我缺少什么？？？？

Gísli

你可能可以用一些 .net 对象等来做到这一点......

如果它是一个更标准格式的日志文件，我不会看太多过去日志解析器 http://www.microsoft.com/download/en/details.aspx?id=24659尽管。以前很棒，现在仍然很棒！

您可以通过命令行或带有 PowerShell 的 COM 使用它。它能够标记它在文件中的位置并从那里获取（将信息存储在 lpc 文件中）。

也许有人会想出一个好方法来做到这一点，但如果没有，您也可以考虑切换到将错误信息写入事件查看器。您可以存储上次 ID 或上次搜索事件查看器的时间，并每次都从那里进行检查。

希望有更好的东西...

EDIT:

如果文件是制表符分隔的，您可以使用 import-csv 命令并存储最后一个数字（如果标题包含在 count 中，则为 count 或 count-1）。使用最后一个数字，您可以跳转到文件中的最后一个点

# use Import-CliXML to get the $last_count
Import-CliXML $path_to_last_count_xml
$file = Import-Csv filename -delimiter "`t"
for ($i=$last_count; $i -gte $file.count; $i++) {
    $line = $file[$i]
    # do something with $line
    ...
}
$last_count = $file.count | Export-CliXML $path_to_last_count_xml

# use this to clear the memory
Remove-Variable $file
[GC]::collect

或者您可以使用 sp_readerrorlog 直接查询数据库；使用最后一次，如上面的最后一次计数。