我想存储一些不同的维基百科链接,但我不想将同一页面的两个不同链接存储两次。例如,以下链接不同,但它们指向相同的维基百科页面:
https://en.wikipedia.org/w/index.php?title=(1S)-1-Methyl-2,3,4,9-tetrahydro-1H-pyrido-3,4-b-indole&redirect=no
https://en.wikipedia.org/w/index.php?title=(1S)-1-methyl-2,3,4,9-tetrahydro-1H-pyrido-3,4-b-indole&redirect=no
__________________________________________________|___________________________________________________________
唯一的区别是一个大写字符。或者以下链接:
https://en.wikipedia.org/wiki/(0,1)-matrix
https://en.wikipedia.org/wiki/(0,1)_matrix
___________________________________|______
这只是因为一个有“-”而另一个有“_”(“”)。所以我想要的是只存储其中之一或以下链接:
https://en.wikipedia.org/wiki/Tetrahydroharman
https://en.wikipedia.org/wiki/Logical_matrix
我已经尝试过这个问题的答案所以问题 https://stackoverflow.com/questions/36070821/how-to-get-redirect-url-using-python-requests。但这对我不起作用。 (结果是我的初始 URL,而不是 wiki 在浏览器中将我重定向到的那个 URL)那么我怎样才能实现我正在寻找的东西呢?