Python + Selenium firefox webdriver - 从网站中提取图像

我正在尝试使用以下方法从网页中提取图像： Python 2.7 + Selenium（使用 FireFox）+ Beautiful Soup。

该页面是动态加载的，因此，我使用 Selenium 进行屏幕抓取。一切在前端看起来都很棒，但是，当我加载所有图像并查看 HTML 时，我看不到图像的链接。你知道这里会发生什么吗？

Site is https://flipp.com/flyers?postal_code=97035, 然后从那里导航到https://flipp.com/weekly_ad/1550082-big-5-sporting-goods-weekly-ad为了看到第一个每周广告（我的工作代码如下）。

更奇怪的是，我可以看到图像正在检查器窗口中加载......但我仍然无法在 HTML 中看到它们。知道这里发生了什么，以及如何获取更新的 HTML（图像加载后？）

这是我能够从 HTML 中提取的一组图像（通过附加 jpg）。这些仅适用于将鼠标悬停在画布上时的弹出窗口。

我想要得到的实际上是构成实际页面/画布的图像。我可以看到它们通过（使用 Firefox 中的流量选项），但由于某种原因它们没有出现在 HTML 中。知道这是怎么回事吗？

工作代码：

#import packages
from time import gmtime, strftime,sleep, time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
#scraping packages
from bs4 import BeautifulSoup


USAPROXY = "177.84.23.122:3128"
def launch_webdriver(PROXY):
    PROXY = PROXY
    PROXY_HOST = PROXY.rpartition(':')[0]
    PROXY_PORT = PROXY.rpartition(':')[2]
    fp = webdriver.FirefoxProfile()
    # Direct = 0, Manual = 1, PAC = 2, AUTODETECT = 4, SYSTEM = 5
    fp.set_preference("network.proxy.type", 1)
    fp.set_preference("network.proxy.http",PROXY_HOST)
    fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
    fp.set_preference("network.proxy.ssl",PROXY_HOST)
    fp.set_preference("network.proxy.ssl_port",int(PROXY_PORT))
    fp.set_preference("general.useragent.override","whater_useragent")    
    fp.update_preferences()
    return webdriver.Firefox(firefox_profile=fp)




def test():
    driver = launch_webdriver(USAPROXY)
    driver.set_page_load_timeout(11)
    driver.get("https://flipp.com/flyers?postal_code=97035")
    sleep(15)
    driver.get("https://flipp.com/weekly_ad/1550082-big-5-sporting-goods-weekly-ad")
    sleep(5)
    my_html = driver.page_source
    soup = BeautifulSoup(my_html,'lxml')
    tags=soup.findAll('img')  #prints only 3 imgs, there should be 100s
    for tag in tags:print tag
    print soup.prettify()
#execute script
test()

看不到更新的原因HTML在你的my_html=driver.page_source是因为page_source抓住了HTML在你的页面之前动态地已加载。尝试以下方法在页面加载后获取 HTML：

my_html = driver.execute_script("return document.getElementsByTagName('html')[0].innerHTML")
# or
my_html = driver.find_element_by_tag_name('html').get_attribute('innerHTML')

EDIT:

好吧，我想我已经找到了你要找的东西。我找到了一种方法来访问network资源并获得表现浏览器正在记录的数据。调用此函数并在加载所需页面后传递驱动程序，它应该以您要查找的格式返回图像：

def getNetworkImages(driver):
    ImageList = []
    Resources = driver.execute_script("return window.performance.getEntriesByType('resource');")
    for resource in Resources:
        if resource['initiatorType'] == 'img': ImageList.append(resource['name'])
    for image in ImageList: print(image)
    return ImageList

注意：这是用 Chrome 测试的64和Chromedriver2.35.