从 FeedParser 获取 Feed 并导入到 Pandas DataFrame

我正在学习Python。作为实践，我正在使用 feedparser 构建一个 RSS 抓取器，将输出放入 pandas 数据帧并尝试使用 NLTK 进行挖掘...但我首先从多个 RSS 提要获取文章列表。

我用这篇文章来了解如何传递多个提要 https://stackoverflow.com/questions/28683619/how-can-i-parse-multiple-urls-in-feedparser-python并将其与我之前得到的另一个问题的答案结合起来，该问题涉及如何将其纳入熊猫数据框 https://stackoverflow.com/questions/45569701/feedparser-removing-special-characters-and-writing-to-csv/45570235#45570235.

问题是什么，我希望能够看到数据框中所有提要的数据。目前我只能访问提要列表中的第一项。

FeedParser 似乎正在完成它的工作，但是当将其放入 Pandas df 中时，它似乎只获取列表中的第一个 RSS。

import feedparser
import pandas as pd

rawrss = [
    'http://newsrss.bbc.co.uk/rss/newsonline_uk_edition/front_page/rss.xml',
    'https://www.yahoo.com/news/rss/',
    'http://www.huffingtonpost.co.uk/feeds/index.xml',
    'http://feeds.feedburner.com/TechCrunch/',
    ]

feeds = []
for url in rawrss:
    feeds.append(feedparser.parse(url))

for feed in feeds:
    for post in feed.entries:
        print(post.title, post.link, post.summary)

df = pd.DataFrame(columns=['title', 'link', 'summary'])

for i, post in enumerate(feed.entries):
    df.loc[i] =  post.title, post.link, post.summary

df.shape

df

您的代码将循环遍历每个帖子并打印其数据。将发布数据添加到数据帧的代码部分不是循环的一部分（在 python 中缩进是有意义的！），因此您只能看到数据帧中一个提要的数据。

您可以在循环浏览提要时构建帖子列表，然后在最后创建一个数据框：

import feedparser
import pandas as pd

rawrss = [
    'http://newsrss.bbc.co.uk/rss/newsonline_uk_edition/front_page/rss.xml',
    'https://www.yahoo.com/news/rss/',
    'http://www.huffingtonpost.co.uk/feeds/index.xml',
    'http://feeds.feedburner.com/TechCrunch/',
    ]

feeds = [] # list of feed objects
for url in rawrss:
    feeds.append(feedparser.parse(url))

posts = [] # list of posts [(title1, link1, summary1), (title2, link2, summary2) ... ]
for feed in feeds:
    for post in feed.entries:
        posts.append((post.title, post.link, post.summary))

df = pd.DataFrame(posts, columns=['title', 'link', 'summary']) # pass data to init

您可以通过组合两个 for 循环来对此进行一些优化：

posts = []
for url in rawrss:
    feed = feedparser.parse(url)
    for post in feed.entries:
        posts.append((post.title, post.link, post.summary))