如何对生成器对象或迭代器进行切片?

2024-02-27

我想循环遍历迭代器的“切片”。我不确定这是否可能,因为我知道不可能对迭代器进行切片。我想做的是这样的:

def f():
    for i in range(100):
        yield(i)
x = f()

for i in x[95:]:
    print(i)

这当然失败了:

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-37-15f166d16ed2> in <module>()
  4 x = f()
  5 
----> 6 for i in x[95:]:
  7     print(i)

TypeError: 'generator' object is not subscriptable

有没有一种Python式的方法来循环生成器的“切片”?

基本上,我实际关心的生成器读取一个非常大的文件并逐行对其执行一些操作。我想测试文件的片段以确保事情按预期执行,但让它运行整个文件非常耗时。

Edit:
如前所述,我需要将其记录在文件中。我希望有一种方法可以使用生成器明确指定这一点,例如:

import skbio

f = 'seqs.fna'
seqs = skbio.io.read(f, format='fasta')

seqs 是一个生成器对象

for seq in itertools.islice(seqs, 30516420, 30516432):
    #do a bunch of stuff here
    pass

上面的代码满足了我的需要,但是仍然非常慢,因为生成器仍然循环遍历所有行。我希望只循环指定的切片


一般来说,答案是itertools.islice https://docs.python.org/3/library/itertools.html#itertools.islice,但你应该注意的是islice实际上不会也不能跳过值。它只是抓住然后扔掉start开始前的值yield- 值。所以通常最好避免islice如果可能的话,当您需要跳过很多值和/或被跳过的值获取/计算成本昂贵时。如果您能找到一种不首先生成值的方法,那就这样做。在您的(显然是人为的)示例中,您只需调整range object.

在尝试在文件对象上运行的特定情况下,拉出大量行(特别是从慢速介质中读取)可能并不理想。假设您不需要特定的行,您可以使用一个技巧来避免实际读取文件的大块,同时仍然测试到文件的一定距离,即seek到猜测的偏移量,读出到行尾(丢弃您可能在中间查找的部分行),然后islice从该点开始,无论您想要多少行。例如:

import itertools

with open('myhugefile') as f:
    # Assuming roughly 80 characters per line, this seeks to somewhere roughly
    # around the 100,000th line without reading in the data preceding it
    f.seek(80 * 100000)
    next(f)  # Throw away the partial line you probably landed in the middle of
    for line in itertools.islice(f, 100):  # Process 100 lines
        # Do stuff with each line

对于文件的具体情况,您可能还想查看mmap https://docs.python.org/3/library/mmap.html它可以以类似的方式使用(如果您正在处理数据块而不是文本行,并且可能会随机跳转,则非常有用)。

Update:根据您更新的问题,您需要查看 API 文档和/或数据格式,以准确弄清楚如何正确跳过。看起来像skbio提供一些跳过使用的功能seq_num,但如果不处理大部分文件,仍然会读取 http://scikit-bio.org/docs/0.4.0/generated/skbio.io.format.fasta.html#module-skbio.io.format.fasta。如果数据以相同的序列长度写出,我会查看文档Alignment;对齐的数据可以在根本不处理前面的数据的情况下加载,例如通过使用Alignment.subalignment创造新的Alignment为您跳过其余数据 http://scikit-bio.org/docs/0.4.0/generated/skbio.alignment.Alignment.subalignment.html#skbio.alignment.Alignment.subalignment.

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何对生成器对象或迭代器进行切片? 的相关文章

随机推荐