第 12 集：Python 中的网页抓取：工具、技术和合法性

真正的 Python 播客

2020年6月5日50公尺

您想开始使用 Python 进行网页抓取吗？您是否担心潜在的法律影响？需要哪些工具以及哪些最佳实践？在本周的节目中，我们请 Kimberly Fessel 讨论她为 PyCon 2020 在线创建的优秀教程，标题为“正式合法，所以让我们抓取网络”。

我们讨论网络抓取入门，并介绍工具和技术。 Kimberly 提供了有关查找 html 内部元素的建议以及清理数据的技术。她还注意到最近有关网络抓取的法律环境发生了变化。

Kimberly 是纽约市 Metis 数据科学训练营的高级数据科学家。她拥有博士学位。在应用数学中。我们谈论她从学术界转向数据科学的转变，并讨论她对数据讲故事和可视化的热情。

主题：

• 00:00:00- 介绍
• 00:01:31– Kimberly 的背景和 Metis 数据科学训练营
• 00:02:19– NLP 和广告工作
• 00:03:27– 网络抓取合法性的变化
• 00:06:12– 有哪些好的网络抓取项目？
• 00:06:56– 启动网页抓取的工具
• 00:07:51– 如何找到你想要的元素？
• 00:09:00– 您应该了解多少 HTML？
• 00:10:49– 检查浏览器中的元素
• 00:14:30– 有哪些好的练习网站？
• 00:16:20– 请求之间暂停
• 00:19:02– 随用随存
• 00:20:54– 真正的 Python 视频课程聚焦
• 00:21:55– 浏览 DOM
• 00:23:10– 数据清理和格式化
• 00:28:26– 动态站点和 Selenium
• 00:32:16– Scrapy
• 00:33:55– 俄亥俄州 2020
• 00:35:40– 走出学术界
• 00:38:40– Python 世界中你对什么感到兴奋？
• 00:41:05– 接下来你想在 Python 中学习什么？
• 00:48:00– 鲜为人知的 Python 技巧或技巧是什么？
• 00:49:17- 谢谢，再见

显示链接：

• Kimberly Fessel，博士 - 博客
• Metis：数据科学培训
• 它是官方合法的，所以让我们抓取网络：PyCon 2020 在线 - 教程
• 胜利！ hiQ 诉 Linkedin 的裁决保护公共数据的抓取：EFF.org
• 计算机欺诈和滥用法 - 维基百科文章
• 票房魔力
• 运动参考|体育统计数据，快速、简单且最新
• Jupyter Notebook：简介 - 真正的 Python 文章
• Python pickle 模块：如何在 Python 中持久化对象 - 真正的 Python 文章
• Python 网页抓取实用介绍 - 真正的 Python 文章
• Beautiful Soup：使用 Python 构建 Web Scraper - 真正的 Python 文章
• 使用 Python 发出 HTTP 请求 - 真正的 Python 视频课程
• Python 中使用 spaCy 进行自然语言处理 - 真正的 Python 文章
• Delorean：时间旅行变得简单
• 玛雅人：人类的日期时间
• 正则表达式：Python 中的正则表达式（第 1 部分） - 真正的 Python 文章
• Selenium：自动化浏览器。就是这样！
• Scrapy：从网站提取所需数据的框架
• 2020 年俄亥俄州
• ODSC：开放数据科学会议
• Kimberly 演讲的幻灯片 - 升级：使用简单工具的精美 NLP
• Tonks：通用深度学习库
• 唐克斯：构建一个（多任​​务）模型来统治它们！ - 中型文章
• 阴谋 |短跑
• geoplotlib：用于可视化地理数据和制作地图的Python工具箱
• GeoPandas：让 Python 中的地理空间数据处理变得更容易
• Altair：Python 中的声明式可视化
• 了解 Pandas 中的转换函数：实用商业 Python

JavaScript 图表绕道：

• 向下和向上：用 D3.js 绘制的拼图 - Kimberly 的博客
• d3js - 数据驱动文档
• Crossfilter：协调视图的快速多维过滤
• dc.js - 维度图表 JavaScript 库

鸣叫 分享 分享 电子邮件 类=“h4”>

« 浏览所有剧集