Python - 从 Selenium 中 ::before 伪元素上的 CSS 属性“content”获取文本？

我正在尝试抓取一些元素并返回网页上显示的文本。我相信我可以通过 css_selectors 和 xpaths 很好地找到元素，但我无法返回所需的文本。下面是我的程序：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait as wait
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.options import Options
import time
import threading
import pandas as pd

threadLocal = threading.local()

def instantiate_chrome():
    driver = getattr(threadLocal, 'driver', None)

    if driver is None:
        options = webdriver.ChromeOptions()
        options.add_argument('log-level=3')
        options.add_argument('--ignore-certificate-errors')
        options.add_argument('--ignore-ssl-errors')
        driver = webdriver.Chrome(executable_path = r'path/to/chrome', options = options)
        setattr(threadLocal, 'driver', driver)

    return driver

def search_stock(driver, stock):
    search_url = r'https://www.forbes.com/search/?q=' + stock
    driver.get(search_url)
    time.sleep(2)
    driver.find_element_by_xpath(r'/html/body/div[1]/main/div[1]/div[1]/div[4]/div/div[1]/div/div[1]/a[1]').click()

def get_q_score(stock, driver):

    df = pd.DataFrame(columns = ['stock','overall_score','quality', 'momentum','growth','technicals'])
    time.sleep(3)
    overall_score = driver.find_element_by_css_selector(r'.q-factor-total .q-score-bar__grade-label').text
    quality_score = driver.find_element_by_xpath(r'/html/body/div[1]/main/div/div[1]/div[4]/div[2]/div[2]/div[1]/div[2]/div[1]').text

    return print('overall score is '+ overall_score, ' quality score is ' + quality_score)

def main(stock):
    driver = instantiate_chrome()
    print('attempting to get q score for ' + stock)
    search_stock(driver, stock)
    print('found webpage for ' + stock)
    get_q_score(stock, driver)

main('AAPL')

我认为问题是我试图通过 selenium 的 .text 方法抓取文本，但没有要抓取的文本。有什么想法吗？

除了您提到的文字实际上并非如此之外，您走在正确的道路上text. These texts实际上是由一个渲染的CSS属性称为content只能与伪元素一起使用:before and :after。你可以阅读here如果您有兴趣的话，可以了解它是如何工作的。

文本呈现为图标；有时组织这样做是为了避免合理的价值观被忽视scraped。然而，有一种方法（有点困难）可以解决这个问题。使用Selenium and javascript您可以单独定位CSS财产的价值content其中它保存着您所追求的值。

研究了一个小时这是最简单的pythonic获得您想要的值的方法

overall_score = driver.execute_script("return [...document.querySelectorAll('.q-score-bar__grade-label')].map(div => window.getComputedStyle(div,':before').content)") #key line in the problem

代码简单地创建了一个javascript目标代码classes的元素，然后映射div元素的值CSS特性。 这会返回一个列表

['"TOP BUY"', '"B"', '"B"', '"B"', '"A"']

值，按以下顺序对应

Q-Factor Score/Quality/Momentum/Growth/Technicals

要访问列表的值，您可以使用for循环和indexing选择值。你可以看到更多相关内容here