如何使用jsoup限制下载大小?

2023-12-21

我正在尝试使用 JSoup 限制下载页面/链接的大小,如下所示(Scala 代码):

val document = Jsoup.connect(theURL).get();

我只想获取给定页面的前几 KB,并停止尝试下载超出该范围的内容。如果有一个非常大的页面(或者theURL是一个不是 html 的链接,并且是一个大文件),我不想花时间下载其余部分。

我的用例是 IRC 机器人的页面标题捕获器。

奖金问题:

有什么理由吗Jsoup.connect(theURL).timeout(3000).get();大文件不会超时吗?如果有人粘贴诸如永无休止的音频流或大型 ISO 之类的内容(可以通过在不同线程中获取 URL 标题(或使用 Scala 演员并在那里超时)来解决),它最终会导致机器人 ping 出,但是当我认为对于一个非常简单的机器人来说似乎有点矫枉过正timeout()应该达到相同的最终结果)。


现在您可以使用 maxBodySize() 方法限制 1.7.2 版本的最大主体尺寸。http://jsoup.org/apidocs/org/jsoup/Connection.Request.html#maxBodySize() http://jsoup.org/apidocs/org/jsoup/Connection.Request.html#maxBodySize()默认情况下限制为 1MB,这可以防止内存泄漏。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何使用jsoup限制下载大小? 的相关文章

随机推荐