Python：无法在网页中使用selenium下载

我的目的是从下载一个 zip 文件这是这个网页中的一个链接https://www.shareinvestor.com/prices/price_download.html#/?type=price_download_all_stocks_bursa。然后保存到这个目录下"/home/vinvin/shKLSE/（我正在使用 pythonaywhere）。然后将其解压并将 csv 文件解压到目录中。

代码运行到最后没有错误，但没有下载。 压缩文件是自动地点击时下载手动。

使用我的带有有效用户名和密码的代码。这真实的用户名和密码使用是为了更容易理解问题。

    #!/usr/bin/python
    print "hello from python 2"

    import urllib2
    from selenium import webdriver
    from selenium.webdriver.common.keys import Keys
    import time
    from pyvirtualdisplay import Display
    import requests, zipfile, os    

    display = Display(visible=0, size=(800, 600))
    display.start()

    profile = webdriver.FirefoxProfile()
    profile.set_preference('browser.download.folderList', 2)
    profile.set_preference('browser.download.manager.showWhenStarting', False)
    profile.set_preference('browser.download.dir', "/home/vinvin/shKLSE/")
    profile.set_preference('browser.helperApps.neverAsk.saveToDisk', '/zip')

    for retry in range(5):
        try:
            browser = webdriver.Firefox(profile)
            print "firefox"
            break
        except:
            time.sleep(3)
    time.sleep(1)

    browser.get("https://www.shareinvestor.com/my")
    time.sleep(10)
    login_main = browser.find_element_by_xpath("//*[@href='/user/login.html']").click()
    print browser.current_url
    username = browser.find_element_by_id("sic_login_header_username")
    password = browser.find_element_by_id("sic_login_header_password")
    print "find id done"
    username.send_keys("bkcollection")
    password.send_keys("123456")
    print "log in done"
    login_attempt = browser.find_element_by_xpath("//*[@type='submit']")
    login_attempt.submit()
    browser.get("https://www.shareinvestor.com/prices/price_download.html#/?type=price_download_all_stocks_bursa")
    print browser.current_url
    time.sleep(20)
    dl = browser.find_element_by_xpath("//*[@href='/prices/price_download_zip_file.zip?type=history_all&market=bursa']").click()
    time.sleep(30)

    browser.close()
    browser.quit()
    display.stop()

   zip_ref = zipfile.ZipFile(/home/vinvin/sh/KLSE, 'r')
   zip_ref.extractall(/home/vinvin/sh/KLSE)
   zip_ref.close()
   os.remove(zip_ref)

HTML 片段：

<li><a href="/prices/price_download_zip_file.zip?type=history_all&amp;market=bursa">All Historical Data</a> <span>About 220 MB</span></li>

请注意，当我复制代码片段时，会显示 &amp。它在查看源代码中是隐藏的，所以我猜它是用 JavaScript 编写的。

观察我发现

1. 目录home/vinvin/shKLSE即使我运行代码没有错误，也不会创建

2. 我尝试下载一个更小的 zip 文件，该文件可以在一秒钟内完成，但在等待 30 秒后仍然没有下载。dl = browser.find_element_by_xpath("//*[@href='/prices/price_download_zip_file.zip?type=history_daily&date=20170519&market=bursa']").click()

我没有看到您的代码块有任何重大缺点。但以下是通过此解决方案和此自动化测试脚本的执行的一些建议：

1. 该代码在场外交易时间内完美运行。在市场交易时间内，很多JavaScript & Ajax Calls正在发挥作用并处理这些问题超出了本问题的范围。
2. 您可以考虑首先检查预期的下载目录，如果不可用，则创建一个新目录。此功能的代码块采用 Windows 风格，并且在 Windows 平台上完美运行。
3. 一旦您点击“登录”，就会出现一些wait以便 HTML DOM 正确呈现。
4. 当您想结束下载过程时，您需要在FirefoxProfile正如我下面的代码中提到的。
5. 始终考虑通过最大化浏览器窗口browser.maximize_window()
6. 当您开始下载时，您需要等待足够的时间才能完全下载文件。
7. 如果您正在使用browser.quit()最后你不需要使用browser.close()
8. 您可以考虑更换所有time.sleep()与任一ImplicitlyWait or ExplicitWait or FluentWait.

9. 这是您自己的代码块，其中进行了一些简单的调整：

   #!/usr/bin/python
   print "hello from python 2"
   
   import urllib2
   from selenium import webdriver
   from selenium.webdriver.common.keys import Keys
   import time
   from pyvirtualdisplay import Display
   import requests, zipfile, os    
   
   display = Display(visible=0, size=(800, 600))
   display.start()
   
   newpath = 'C:\\home\\vivvin\\shKLSE'
   if not os.path.exists(newpath):
       os.makedirs(newpath)    
   
   profile = webdriver.FirefoxProfile()
   profile.set_preference("browser.download.dir",newpath);
   profile.set_preference("browser.download.folderList",2);
   profile.set_preference("browser.helperApps.neverAsk.saveToDisk", "application/zip");
   profile.set_preference("browser.download.manager.showWhenStarting",False);
   profile.set_preference("browser.helperApps.neverAsk.openFile","application/zip");
   profile.set_preference("browser.helperApps.alwaysAsk.force", False);
   profile.set_preference("browser.download.manager.useWindow", False);
   profile.set_preference("browser.download.manager.focusWhenStarting", False);
   profile.set_preference("browser.helperApps.neverAsk.openFile", "");
   profile.set_preference("browser.download.manager.alertOnEXEOpen", False);
   profile.set_preference("browser.download.manager.showAlertOnComplete", False);
   profile.set_preference("browser.download.manager.closeWhenDone", True);
   profile.set_preference("pdfjs.disabled", True);
   
   for retry in range(5):
       try:
           browser = webdriver.Firefox(profile)
           print "firefox"
           break
       except:
           time.sleep(3)
   time.sleep(1)
   
   browser.maximize_window()
   browser.get("https://www.shareinvestor.com/my")
   time.sleep(10)
   login_main = browser.find_element_by_xpath("//*[@href='/user/login.html']").click()
   time.sleep(10)
   print browser.current_url
   username = browser.find_element_by_id("sic_login_header_username")
   password = browser.find_element_by_id("sic_login_header_password")
   print "find id done"
   username.send_keys("bkcollection")
   password.send_keys("123456")
   print "log in done"
   login_attempt = browser.find_element_by_xpath("//*[@type='submit']")
   login_attempt.submit()
   browser.get("https://www.shareinvestor.com/prices/price_download.html#/?type=price_download_all_stocks_bursa")
   print browser.current_url
   time.sleep(20)
   dl = browser.find_element_by_xpath("//*[@href='/prices/price_download_zip_file.zip?type=history_all&market=bursa']").click()
   time.sleep(900)
   
   browser.close()
   browser.quit()
   display.stop()
   
   zip_ref = zipfile.ZipFile(/home/vinvin/sh/KLSE, 'r')
   zip_ref.extractall(/home/vinvin/sh/KLSE)
   zip_ref.close()
   os.remove(zip_ref)
   

如果这能回答您的问题，请告诉我。