处理非平面文件中的文本（提取信息，就好像它是平面文件一样）

我有一个由计算机模拟生成的纵向数据集，可以用下表表示（“var”是变量）：

time subject var1 var2 var3
t1   subjectA  ...
t2   subjectB  ...

and

subject   name
subjectA  nameA
subjectB  nameB

但是，生成的文件会写入类似于以下格式的数据文件：

time t1 
  description
subjectA nameA
  var1 var2 var3
subjectB nameB
  var1 var2 var3
time t2
  description
subjectA nameA
  var1 var2 var3
subjectB nameB
  var1 var2 var3
...(and so on)

我一直在使用（python）脚本将此输出数据处理为平面文本文件，以便我可以将其导入到 R、python、SQL 或 awk/grep 中以提取信息 - 所需信息类型的示例单个查询（以 SQL 表示法，数据转换为表格后）如下所示：

SELECT var1, var2, var3 FROM datatable WHERE subject='subjectB'

我想知道是否有更有效的解决方案，因为每个数据文件大约有 100MB（我有数百个），并且创建纯文本文件非常耗时，并且会占用额外的硬盘空间和冗余信息。理想情况下，我将直接与原始数据集交互以提取我想要的信息，而不创建额外的平面文本文件...是否有针对此类任务的更简单的 awk/perl 解决方案？我非常精通 Python 中的文本处理，但我的 awk 技能还很初级，而且我没有 Perl 的工作知识；我想知道这些或其他特定领域的工具是否可以提供更好的解决方案。

Thanks!

后记：哇，谢谢大家！很抱歉我无法选择每个人的答案 @FM：谢谢。我的 Python 脚本类似于您的代码，但没有过滤步骤。但你的组织是干净的。 @PP：我以为我已经精通 grep 但显然不是！这非常有帮助......但我认为将“时间”混合到输出中时 grep 变得很困难（我未能将其作为可能的提取场景包含在我的示例中！这是我的错）。 @ghostdog74：这真是太棒了......但是修改该行以获取“subjectA”并不简单......（尽管我会同时阅读更多关于 awk 的内容，希望稍后我能理解）。 @weismat：说得好。 @S.Lott：这是非常优雅和灵活的 - 我并不是要求一个 python(ic) 解决方案，但这完全适合 PP 建议的解析、过滤器和输出框架，并且足够灵活，可以容纳许多不同的查询从这个分层文件中提取不同类型的信息。

我再次感谢大家——非常感谢。

这就是 Python 生成器的全部意义所在。

def read_as_flat( someFile ):
    line_iter= iter(someFile)
    time_header= None
    for line in line_iter:
        words = line.split()
        if words[0] == 'time':
            time_header = [ words[1:] ] # the "time" line
            description= line_iter.next()
            time_header.append( description )
        elif words[0] in subjectNameSet:
            data = line_iter.next()
            yield time_header + data

您可以像标准 Python 迭代器一样使用它

for time, description, var1, var2, var3 in read_as_flat( someFile ):
    etc.