numpy 数组：快速填充和提取数据

请参阅此问题底部的重要说明。

我正在使用 numpy 来加速经度/纬度坐标的一些处理。不幸的是，我的 numpy“优化”使我的代码运行速度提高了大约 5 倍slowly比它在不使用 numpy 的情况下运行。

瓶颈似乎在于用我的数据填充 numpy 数组，然后在完成数学转换后提取该数据。为了填充数组，我基本上有一个像这样的循环：

point_list = GetMyPoints() # returns a long list of ( lon, lat ) coordinate pairs
n = len( point_list )
point_buffer = numpy.empty( ( n, 2 ), numpy.float32 )

for point_index in xrange( 0, n ):
    point_buffer[ point_index ] = point_list[ point_index ]

该循环仅在对其进行操作之前填充 numpy 数组，速度非常慢，比没有 numpy 的整个计算慢得多。 （也就是说，这不仅仅是 python 循环本身的缓慢，而且显然在实际将每个小数据块从 python 传输到 numpy 时存在巨大的开销。）另一端也有类似的缓慢；处理完 numpy 数组后，我在循环中访问每个修改的坐标对，再次如下

some_python_tuple = point_buffer[ index ]

同样，提取数据的循环比没有 numpy 的整个原始计算慢得多。那么，我如何实际填充 numpy 数组并从 numpy 数组中提取数据，而不会违背首先使用 numpy 的目的？

我正在使用 C 库从形状文件中读取数据，该库将数据作为常规 python 列表提供。我知道，如果库向我提供了 numpy 数组中已有的坐标，则不需要“填充”numpy 数组。但不幸的是，我的数据起点是一个常规的 python 列表。更重要的是，一般来说，我想了解如何使用 python 中的数据快速填充 numpy 数组。

澄清

上面显示的循环实际上过于简单化了。我在这个问题中这样写是因为我想专注于我所看到的尝试在循环中缓慢填充 numpy 数组的问题。我现在明白这样做只是缓慢的。

在我的实际应用程序中，我拥有的是坐标点的形状文件，并且我有一个 API 来检索给定对象的点。大约有 200,000 个对象。所以我反复调用一个函数GetShapeCoords( i )获取对象 i 的坐标。这将返回一个列表列表，其中每个子列表都是经度/纬度对的列表，它是列表列表的原因是某些对象是多部分的（即多多边形）。然后，在我的原始代码中，当我读取每个对象的点时，我通过调用常规 python 函数对每个点进行转换，然后使用 PIL 绘制转换后的点。整个过程花了大约 20 秒来绘制所有 200,000 个多边形。并不可怕，但还有很大的改进空间。我注意到这 20 秒中至少有一半花在了转换逻辑上，所以我想我应该在 numpy 中这样做。我最初的实现只是一次读入一个对象，然后将子列表中的所有点不断附加到一个大的 numpy 数组中，然后我可以在 numpy 中进行数学运算。

所以，我现在明白，简单地将整个 python 列表传递给 numpy 是设置大数组的正确方法。但就我而言，我一次只读取一个对象。所以我能做的一件事就是在一个大的Python列表列表中不断地添加点。然后，当我以这种方式编译了一些大量对象的点（例如 10000 个对象）时，我可以简单地将怪物列表分配给 numpy。

所以我现在的问题是三个部分：

(a) numpy 真的可以接受那么大的、不规则形状的列表列表，并快速快速地读取它吗？

(b) 然后我希望能够变换该怪物树叶子中的所有点。例如，获取 numpy 的表达式是什么，“进入每个子列表，然后进入每个子子列表，然后对于在这些子子列表中找到的每个坐标对，将第一个（lon 坐标）乘以 0.5”？我可以这样做吗？

(c) 最后，我需要取回这些转换后的坐标以便绘制它们。

下面温斯顿的回答似乎暗示了我如何使用 itertools 来完成这一切。我想做的与温斯顿所做的非常相似，将列表展平。但我不能完全把它弄平。当我去绘制数据时，我需要能够知道一个多边形何时停止以及下一个多边形何时开始。所以，我认为如果有一种方法可以用特殊的坐标对（例如（-1000，-1000）或类似的东西）快速标记每个多边形（即每个子列表）的末端，我就可以让它工作。然后我可以像温斯顿的答案一样用 itertools 进行展平，然后在 numpy 中进行转换。然后我需要使用 PIL 从点到点进行实际绘制，在这里我想我需要将修改后的 numpy 数组重新分配回 python 列表，然后在常规 python 循环中迭代该列表来进行绘图。除了编写一个 C 模块来一步处理所有阅读和绘图之外，这似乎是我的最佳选择吗？

您将您的数据描述为“坐标列表列表的列表”。由此我猜你的提取看起来像这样：

for x in points:
   for y in x:
       for Z in y:
           # z is a tuple with GPS coordinates

Do this:

# initially, points is a list of lists of lists
points = itertools.chain.from_iterable(points)
# now points is an iterable producing lists
points = itertools.chain.from_iterable(points)
# now points is an iterable producing coordinates
points = itertools.chain.from_iterable(points)
# now points is an iterable producing individual floating points values
data = numpy.fromiter(points, float)
# data is a numpy array containing all the coordinates
data = data.reshape( data.size/2,2)
# data has now been reshaped to be an nx2 array

itertools 和 numpy.fromiter 都是用 C 语言实现的，而且非常高效。因此，这应该会非常快地完成转换。

您问题的第二部分并没有真正表明您想要如何处理数据。索引 numpy 数组比索引 python 列表慢。您可以通过对数据进行大量操作来提高速度。如果不了解更多关于您如何处理这些数据的信息，就很难建议如何修复它。

UPDATE:

我已经使用 itertools 和 numpy 完成了所有工作。对于因尝试理解此代码而造成的任何脑损伤，我不承担任何责任。

# firstly, we use imap to call GetMyPoints a bunch of times
objects = itertools.imap(GetMyPoints, xrange(100))
# next, we use itertools.chain to flatten it into all of the polygons
polygons = itertools.chain.from_iterable(objects)
# tee gives us two iterators over the polygons
polygons_a, polygons_b = itertools.tee(polygons)
# the lengths will be the length of each polygon
polygon_lengths = itertools.imap(len, polygons_a)
# for the actual points, we'll flatten the polygons into points
points = itertools.chain.from_iterable(polygons_b)
# then we'll flatten the points into values
values = itertools.chain.from_iterable(points)

# package all of that into a numpy array
all_points = numpy.fromiter(values, float)
# reshape the numpy array so we have two values for each coordinate
all_points = all_points.reshape(all_points.size // 2, 2)

# produce an iterator of lengths, but put a zero in front
polygon_positions = itertools.chain([0], polygon_lengths)
# produce another numpy array from this
# however, we take the cumulative sum
# so that each index will be the starting index of a polygon
polygon_positions = numpy.cumsum( numpy.fromiter(polygon_positions, int) )

# now for the transformation
# multiply the first coordinate of every point by *.5
all_points[:,0] *= .5

# now to get it out

# polygon_positions is all of the starting positions
# polygon_postions[1:] is the same, but shifted on forward,
# thus it gives us the end of each slice
# slice makes these all slice objects
slices = itertools.starmap(slice, itertools.izip(polygon_positions, polygon_positions[1:]))
# polygons produces an iterator which uses the slices to fetch
# each polygon
polygons = itertools.imap(all_points.__getitem__, slices)

# just iterate over the polygon normally
# each one will be a slice of the numpy array
for polygon in polygons:
    draw_polygon(polygon)

您可能会发现最好一次处理一个多边形。将每个多边形转换为 numpy 数组并对其进行向量运算。这样做您可能会获得显着的速度优势。将所有数据放入 numpy 可能有点困难。

由于数据形状奇特，这比大多数 numpy 的东西更困难。 Numpy 几乎假设一个数据形状统一的世界。