如何使用Python优化大型数据集的API调用？

客观的：将地址列表发送到 API 并提取某些信息（例如：指示地址是否位于洪水区域的标志）。

Solution：适用于小数据的 Python 脚本。

Problem：我想针对大输入优化当前的解决方案。如何提高 API 调用的性能。如果我有 100,000 个地址，我当前的解决方案会失败吗？这会减慢 HTTP 调用吗？我会收到超时请求吗？ API 是否能够抵抗 API 调用的数量？

• 输入：地址列表

输入样本

777 布罗克顿大道，阿宾顿马萨诸塞州 2351

30 纪念大道，埃文马萨诸塞州 2322

• 输出：所有地址的数据帧和指示其是否处于洪水区域的标志。
• API: https://hazards.fema.gov/gis/nfhl/rest/services/public/NFHL/MapServer/28/query https://hazards.fema.gov/gis/nfhl/rest/services/public/NFHL/MapServer/28/query.

我当前的解决方案适用于小型数据集。

# Creating a function to get lat & long of the existing adress and then detecting the zone in fema
def zonedetect(addrs):
    global geolocate
    geocode_result = geocode(address=addrs, as_featureset=True)
    latitude = geocode_result.features[0].geometry.x
    longitude = geocode_result.features[0].geometry.y
    url = "https://hazards.fema.gov/gis/nfhl/rest/services/public/NFHL/MapServer/28/query?where=1%3D1&text=&objectIds=&time=&geometry="+str(latitude)+"%2C"+str(longitude)+"&geometryType=esriGeometryPoint&inSR=4326&spatialRel=esriSpatialRelIntersects&relationParam=&outFields=*&returnGeometry=true&returnTrueCurves=false&maxAllowableOffset=&geometryPrecision=&outSR=&returnIdsOnly=false&returnCountOnly=false&orderByFields=&groupByFieldsForStatistics=&outStatistics=&returnZ=false&returnM=false&gdbVersion=&returnDistinctValues=false&resultOffset=&resultRecordCount=&queryByDistance=&returnExtentsOnly=false&datumTransformation=&parameterValues=&rangeValues=&f=json"
    response = req.get(url)
    parsed_data = json.loads(response.text)
    formatted_data = json_normalize(parsed_data["features"])
    formatted_data["Address_1"] = addrs

    #Exception handling
    if response.status_code == 200:
        geolocate = geolocate.append(formatted_data, ignore_index = True)
    else: 
        print("Request to {} failed".format(postcode))

# Reading every adress from existing dataframe
for i in range(len(df.index)):
    zonedetect(df["Address"][i])

除了使用上面的 for 循环之外，还有另一种选择。我可以批量处理这个逻辑吗？

向 发送 100,000 个请求hazards.fema.gov服务器肯定会导致服务器速度变慢，但这主要会影响您的脚本，因为您需要等待每个 HTTP 请求排队并响应，这可能需要很长时间才能处理。

更好的方法是发送一个 REST 查询来获取您需要的所有内容，然后再处理逻辑。查看REST API，您可以发现geometryURL 参数能够接受geometryMultiPoint 从文档 https://developers.arcgis.com/documentation/common-data-types/geometry-objects.htm。这是多点的示例：

{
  "points" : [[-97.06138,32.837],[-97.06133,32.836],[-97.06124,32.834],[-97.06127,32.832]],
  "spatialReference" : {"wkid" : 4326}
}

所以你可以做的是创建一个对象来存储你想要查询的所有点：

multipoint = { points: [], spatialReference: { wkid: 4326}

当您循环时，将纬度/经度点附加到多点列表中：

for i in range(len(df.index)):
    address = df["Address"][i]
    geocode_result = geocode(address=addrs, as_featureset=True)
    latitude = geocode_result.features[0].geometry.x
    longitude = geocode_result.features[0].geometry.y
    multiPoint.points.append([latitude, longitude])

然后您可以将多点设置为geometry在您的查询中，这只会产生一个 API 请求，而不是每个点一个。