如何使用 BeautifulSoup 抓取页面？页面源与检查元素不匹配

我正在尝试从中抓取一些东西这个梦幻篮球页面 http://fantasy.espn.com/basketball/league/scoreboard?leagueId=633975。我使用 Python 3.5+ 中的 BeautifulSoup 来执行此操作。

source_code = requests.get('http://fantasy.espn.com/basketball/league/standings?leagueId=633975')
plain_text = source_code.text
soup = BeautifulSoup(plain_text, 'lxml')

首先，我想将 9 个类别的标题抓取到一个 Python 列表中。所以我的清单应该是这样的categories = [FG%, FT%, 3PM, REB, AST, STL, BLK, TO, PTS].

我希望做的事情如下：

tableSubHead = soup.find_all('tr', class_='Table2__header-row')
tableSubHead = tableSubHead[0]
listCats = tableSubHead.find_all('th')
categories = []
for cat in listCats:
  if 'title' in cat.attrs:
  categories.append(cat.string)

但是，那soup.find_all('tr', class_='Table2__header-row')返回一个空列表而不是我想要的表行元素。我怀疑这是因为当我查看页面源代码时，它与Chrome开发工具中的Inspect Element完全不同。我知道这是因为 Javascript 动态更改页面上的元素，但我不确定解决方案是什么。

你面临的问题是因为这个网站是一个网络应用程序，这意味着必须运行 javascript 才能生成你所看到的内容，你不能运行 javascriptrequest，这就是我为了得到结果所做的事情selenium它会打开一个无头浏览器，并通过等待一段时间来使 JavaScript 首先运行：

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time

# source_code = requests.get('http://fantasy.espn.com/basketball/league/standings?leagueId=633975')

options = webdriver.ChromeOptions()
options.add_argument('headless')
capa = DesiredCapabilities.CHROME
capa["pageLoadStrategy"] = "none"
driver = webdriver.Chrome(chrome_options=options, desired_capabilities=capa)
driver.set_window_size(1440,900)
driver.get('http://fantasy.espn.com/basketball/league/standings?leagueId=633975')
time.sleep(15)

plain_text = driver.page_source
soup = BeautifulSoup(plain_text, 'lxml')

soup.select('.Table2__header-row') # Returns full results.

len(soup.select('.Table2__header-row')) # 8

这种方法将允许您运行设计为网络应用程序的网站，并极大地扩展您的功能。 - 您甚至可以添加要执行的命令，例如滚动或单击以在航班上加载更多源。

Use pip install selenium安装硒。如果您喜欢 Firefox，还允许您使用该浏览器。