Python 3.5 urllib.request 403 禁止错误

import urllib.request
import urllib
from bs4 import BeautifulSoup


url = "https://www.brightscope.com/ratings"
page = urllib.request.urlopen(url)
soup = BeautifulSoup(page, "html.parser")

print(soup.title)

我试图访问上述网站，但代码不断抛出 403 禁止错误。

有任何想法吗？

import requests
from bs4 import BeautifulSoup


url = "https://www.brightscope.com/ratings"
headers = {'User-Agent':'Mozilla/5.0'}
page = requests.get(url)
soup = BeautifulSoup(page.text, "html.parser")

print(soup.title)

out:

<title>BrightScope Ratings</title>

首先，使用requests而不是urllib.

比，添加headers to requests，如果没有，网站会禁止你的，因为默认User-Agent是爬虫，该网站不喜欢它。