可以在 Try/Except 中重试/循环吗？

我试图了解是否可以在 Try/Except 调用内部设置循环，或者是否需要重构以使用函数。长话短说，在花了几个小时学习 Python 和 BeautifulSoup 后，我设法将一些代码组合在一起来抓取 URL 列表，将数据提取到 CSV（现在将其更新到 MySQL 数据库）。代码现在按计划工作，除了我偶尔会遇到 10054，要么是因为我的 VPN 打嗝，要么可能是源主机服务器偶尔会拒绝我（我的循环中有 30 秒的延迟，但有时它仍然会困扰我） ）。

我了解了 Try/Except 结构的一般概念，但我不太确定我将如何（或者如果可以）在其中循环以重试。我用于获取 URL、清理它并解析我需要的表的基本代码如下所示：

for url in contents:
    print('Processing record', (num+1), 'of', len(contents))
    if url:
        print('Retrieving data from ', url[0])
        html = requests.get(url[0]).text
        soup = BeautifulSoup(html, 'html.parser')
        for span in soup('span'):
            span.decompose()
       trs = soup.select('div#collapseOne tr')
        if trs:
            print('Processing')
            for t in trs:
                for header, value in zip(t.select('td')[0], t.select('td:nth-child(2)')):
                    if num == 0:
                        headers.append(' '.join(header.split()))    
                    values.append(re.sub(' +', ' ', value.get_text(' ', strip=True)))  

之后只需将数据处理为 CSV 并运行更新 sql 语句。

我想做的是，如果 HTML 请求调用失败，请等待 30 秒，再次尝试请求，然后处理，或者如果重试失败 X 次，则继续并退出脚本（假设此时我已经完全连接失败）。

是否可以在线执行类似的操作，或者我需要将请求语句放入函数中并设置一个循环来调用它？必须承认我还不熟悉 Python 如何处理函数返回。

您可以为重试添加一个内部循环，并将 try/ except 块放入其中。这是它的外观草图。您可以将所有这些放入一个函数中，并将该函数调用放入其自己的 try/ except 块中，以捕获导致循环退出的其他错误。

看着请求异常层次结构 https://requests.readthedocs.io/en/master/_modules/requests/exceptions/，超时涵盖了多个可恢复的异常，对于您可能想要捕获的所有内容来说，这是一个良好的开始。其他问题（例如 SSLError）不会因为重试而变得更好，因此请跳过它们。您可以浏览该列表，看看什么对您来说是合理的。

import itertools

# requests exceptions at 
# https://requests.readthedocs.io/en/master/_modules/requests/exceptions/
    
for url in contents:
    print('Processing record', (num+1), 'of', len(contents))
    if url:
        print('Retrieving data from ', url[0])
        retry_count = itertools.count()
        # loop for retries
        while True:
            try:
                # get with timeout and convert http errors to exceptions
                resp = requests.get(url[0], timeout=10)
                resp.raise_for_status()
            # the things you want to recover from
            except requests.Timeout as e:
                if next(retry_count) <= 5:
                    print("timeout, wait and retry:", e)
                    time.sleep(30)
                    continue
                else:
                    print("timeout, exiting")
                    raise # reraise exception to exit
            except Exception as e:
                print("unrecoverable error", e)
                raise
            break

        html = resp.text
        etc…