如何使用python捕获网络流量[关闭]

我正在使用 python 并尝试抓取我的计算机和站点之间的 HTTP(s) 流量，其中包括所有传入和传出请求、响应，例如图像和外部调用等。

我试图找到我的网络流量hit_site功能，但我没有找到信息。

hit_site("http://www.google.com")

def hit_site(url):
    print url
    r = requests.get(url,stream = True)
    print r.headers
    print r.encoding
    print r.status_code
    print r.json()
    print requests.get(url,stream=True)
    print r.request.headers
    print r.response.headers
    for line in r.iter_lines():
        print line
    data = r.text
    soup = BeautifulSoup(data)
    return soup

我想要捕获的信息类型的示例如下（我使用 fiddler2 来获取此信息。所有这些以及更多信息都来自访问 groupon.com）：

#   Result  Protocol    Host    URL Body    Caching Content-Type    Process Comments    Custom  
6   200 HTTP    www.groupon.com /   23,236  private, max-age=0, no-cache, no-store, must-revalidate text/html; charset=utf-8    chrome:6080         
7   200 HTTP    www.groupon.com /homepage-assets/styles-6fca4e9f48.css  6,766   public, max-age=31369910    text/css; charset=UTF-8 chrome:6080         
8   200 HTTP    Tunnel to   img.grouponcdn.com:443  0           chrome:6080         
9   200 HTTP    img.grouponcdn.com  /deal/gsPCLbbqioFVfvjT3qbBZo/The-Omni-Mount-Washington-Resort_01-960x582/v1/c550x332.jpg    94,555  public, max-age=315279127; Expires: Fri, 18 Oct 2024 22:20:20 GMT   image/jpeg  chrome:6080         
10  200 HTTP    img.grouponcdn.com  /deal/d5YmjhxUBi2mgfCMoriV/pE-700x420/v1/c220x134.jpg   17,832  public, max-age=298601213; Expires: Mon, 08 Apr 2024 21:35:06 GMT   image/jpeg  chrome:6080         
11  200 HTTP    www.groupon.com /homepage-assets/main-fcfaf867e3.js 9,604   public, max-age=31369913    application/javascript  chrome:6080         
12  200 HTTP    www.groupon.com /homepage-assets/locale.js?locale=en_US&country=US  1,507   public, max-age=994 application/javascript  chrome:6080         
13  200 HTTP    www.groupon.com /tracky 3       application/octet-stream    chrome:6080         
14  200 HTTP    www.groupon.com /cart/widget?consumerId=b577c9c2-4f07-11e4-8305-0025906127fe    17  private, max-age=0, no-cache, no-store, must-revalidate application/json; charset=utf-8 chrome:6080         
15  200 HTTP    www.googletagmanager.com    /gtm.js?id=GTM-B76Z 39,061  private, max-age=911; Expires: Wed, 22 Oct 2014 20:48:14 GMT    text/javascript; charset=UTF-8  chrome:6080         

我将不胜感激关于如何使用 python 捕获网络流量的任何想法。

dpkt https://dpkt.readthedocs.io/en/latest/是一个用于解析 TCP 流量的扩展工具（用 Python 编写），它包括对 SSL 握手中涉及的解码数据包的支持 https://dpkt.readthedocs.io/en/latest/api/api_auto.html#module-dpkt.ssl。另一个用于运行和解码 Python 捕获的工具是pypcap文件 https://pypi.python.org/pypi/pypcapfile.

请注意，对于解码 SSL 流量包括数据，需要知道私钥。对于您无法控制的第三方服务器（例如 Google）来说，这有些问题，并且需要付出巨大的努力来解决它。其中一种方法是使用已知私钥设置代理来扮演中间人（并将自签名 CA 安装到本地存储中以强制浏览器接受它）。