【Java】网络编程——多线程下载文件

2023-11-19

前言

多线程下载文件,比单线程要快,当然,线程不是越多越好,这和获取的源文件还有和网速有关。

原理:在请求服务器的某个文件时,我们能得到这个文件的大小长度信息,我们就可以下载此长度的某一个片段,来达到多线程下载的目的!每条线程分别下载他们自己的片段!

下载流程(代码片段)

1.  根据访问的URL路径调用openConnection()获得HttpURLConnection对象,接着调用getContentLengthLong()方法获得文件的  字节大小,然后通过RandomAccessFile对象调用setLength()设置本地文件的长度。(这个文件是null数据文件,通过多线程进行对RandomAccessFile对象的本地文件随机位置写入数据)

URL url = new URL(str_url);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
long fileLength = conn.getContentLengthLong(); // 得到需要下载的文件大小
RandomAccessFile file = new RandomAccessFile(storagePath, "rwd");
file.setLength(fileLength); // 关键方法 : 设置本地文件长度
file.close();
conn.disconnect();

2. 根据获得的文件长度,计算每条线程下载的起始位置与结束位置,因为不一定平均分,所以最后一条线程下载剩余的字节

long oneThreadReadByteLength = fileLength / threadNumber;
for (int i = 0; i < threadNumber; i++) {
	long startPosition = i * oneThreadReadByteLength;
	long endPosition = i == threadNumber - 1 ? fileLength : (i + 1) * oneThreadReadByteLength - 1;
}

3. 每条线程请求的范围参数设置,请求头参数 : Range:bytes=0-length

URL url = new URL(str_url);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestProperty("Range", "bytes=" + startPosition + "-" + endPosition); // 关键方法: 每条线程请求的字节范围

4. 每条线程存储数据到文件的起始位置设置(RandomAccessFile的seek()方法),以及响应码206判断

if (conn.getResponseCode() == HttpURLConnection.HTTP_PARTIAL) { // 关键响应码 :206,请求成功 + 请求数据字节范围成功
	RandomAccessFile file = new RandomAccessFile(storagePath, "rwd");
	file.seek(startPosition); // 关键方法 :每条线程起始写入文件的位置
	InputStream in = conn.getInputStream();
	byte[] buf = new byte[8192];
	int len;
	while ((len = in.read(buf)) > 0) {
		file.write(buf, 0, len);
	}
}

完整代码

main.java

public class Main {
	
	public static void main(String[] args) throws Exception {
		
		String path = "https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1588346633185&di=8f8b2b357c8461d232fcce9e0c476f3a&imgtype=0&src=http%3A%2F%2Fi0.hdslb.com%2Fbfs%2Farticle%2Fe79d2c22d40a801e7b02183dee9db3e5c71514af.jpg";
		MultiThreadDownload mtd = new MultiThreadDownload(path, "G:\\LeiMus.jpg", 3);
		mtd.download();
		
	}

}

MultiThreadDownload.java

package com.bin.demo;

import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;

public class MultiThreadDownload {
	
	private String str_url;
	private String storagePath;
	private int threadNumber;
	private static long downloadByteCount;
	
	MultiThreadDownload(String str_url, String storagePath, int threadNumber) {
		this.str_url = str_url;
		this.storagePath = storagePath;
		this.threadNumber = threadNumber;
	}
	
	public void download() throws IOException, InterruptedException {
		long startTime = System.currentTimeMillis();
		System.out.println("Download......");
		
		/*
		 *  首先设置本地文件的大小
		 *  当然这是个null数据的文件
		 *  这样才能通过RandomAccessFile的数组下标机制达到随机位置写入
		 */
		URL url = new URL(str_url);
		HttpURLConnection conn = (HttpURLConnection) url.openConnection();
		conn.setConnectTimeout(10000);
		conn.setRequestMethod("GET");
		long fileLength = conn.getContentLengthLong(); // 得到需要下载的文件大小
		conn.disconnect();
		RandomAccessFile file = new RandomAccessFile(storagePath, "rwd");
		file.setLength(fileLength); // 关键方法 : 设置本地文件长度
		file.close();
		
		/*
		 *  计算每条线程下载的字节数,以及每条线程起始下载位置与结束的下载位置,
		 *  因为不一定平均分,所以最后一条线程下载剩余的字节
		 *  然后创建线程任务并启动
		 *  Main线程等待每条线程结束(join()方法)
		 */
		long oneThreadReadByteLength = fileLength / threadNumber;
		for (int i = 0; i < threadNumber; i++) {
			long startPosition = i * oneThreadReadByteLength;
			long endPosition = i == threadNumber - 1 ? fileLength : (i + 1) * oneThreadReadByteLength - 1;
			Thread t = new Thread(new Task(startPosition, endPosition));
			t.start();
			t.join();
		}
		
		/*
		 *  检查文件是否下载完整,不完整则删除
		 */
		if (downloadByteCount == fileLength) {
			System.out.println("ALL Thread Download OK.");
			System.out.println("time = " + ((System.currentTimeMillis() - startTime) / 1000) + " S");
		} else {
			System.out.println("Download Error.");
			new File(storagePath).delete();
		}
	}
	
	class Task implements Runnable {
		
		private long startPosition;
		private long endPosition;
		
		Task(long startPosition, long endPosition) {
			this.startPosition = startPosition;
			this.endPosition = endPosition;
		}

		@Override
		public void run() {
			try {
				URL url = new URL(str_url);
				HttpURLConnection conn = (HttpURLConnection) url.openConnection();
				conn.setConnectTimeout(10000);
				conn.setRequestMethod("GET");
				conn.setRequestProperty("Range", "bytes=" + startPosition + "-" + endPosition); // 关键方法: 每条线程请求的字节范围
				if (conn.getResponseCode() == HttpURLConnection.HTTP_PARTIAL) { // 关键响应码 :206,请求成功 + 请求数据字节范围成功
					RandomAccessFile file = new RandomAccessFile(storagePath, "rwd");
					file.seek(startPosition); // 关键方法 :每条线程起始写入文件的位置
					InputStream in = conn.getInputStream();
					byte[] buf = new byte[8192];
					int len;
					while ((len = in.read(buf)) > 0) {
						file.write(buf, 0, len);
						downloadByteCount += len;
					}
					// 关闭网络连接及本地流
					in.close();
					file.close();
					conn.disconnect();
					System.out.println(Thread.currentThread().getName() + ": download OK");
				}
			} catch (IOException e) {
				System.out.println(Thread.currentThread().getName() + "_Error : " + e);
			}
		}
		
	}

}

输出:

Download......
Thread-0: download OK
Thread-1: download OK
Thread-2: download OK
ALL Thread Download OK.
time = 1 S

我下载的是百度图片,另外多线程下载的结果时间和网速和文件大小有关。

附加我的结果图片:

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【Java】网络编程——多线程下载文件 的相关文章

  • Google App Engine 数据存储写入:如何远程启用/禁用只读模式?

    在阅读备份时GAE 的数据存储 https developers google com appengine docs adminconsole datastoreadmin where 我们强烈建议您在备份或恢复期间将应用程序设置为只读模式
  • 我需要在 Java 9 中使用哪个模块才能使用 JPA?

    我正在使用一个需要 JPA 的项目测试 Java 9 javax persistence 类 当我添加module info java并声明我的模块 下的所有类javax persistece包变得不可用 我搜索了很多 但找不到在 Java
  • 从SQLite列中获取所有数字字符串并进行总和计算

    我是 Android 和 SQLite 的新手 我在 SQLite 中有一个只有数字的 AMOUNT 列 我可以在 ListView 中显示它 但我无法找到任何我理解的方法来将它们全部添加并显示在 TextView 中 这是数据库助手 im
  • Java 7u51/7u55 带星号的清单变量

    我正在部署一个小程序 其中包含清单中的下一个变量 Manifest Version 2 0 Ant Version Apache Ant 1 8 2 Trusted Library true Permissions all permissi
  • 在 Spring Webflux 中执行阻塞 JDBC 调用

    我使用 Spring Webflux 和 Spring data jpa 使用 PostgreSql 作为后端数据库 我不想在进行数据库调用时阻塞主线程 例如find and save 为了实现同样的目标 我有一个主调度程序Controll
  • 检查更新时 Maven 无限期挂起

    我正在使用 Maven 构建一个项目 我是新手 并且它挂起 mvn package INFO Scanning for projects INFO INFO Building Presentation Reports INFO task s
  • 如何组合 3 个或更多 CompletionStages?

    如果有 2 个 CompletionStages 我可以将它们与thenCombine method CompletionStage a aCompletionStage getA CompletionStage b bCompletion
  • Java:如果数组大小未知,如何初始化?

    我要求用户输入 1 到 100 之间的一些数字并将它们分配到一个数组中 数组大小未初始化 因为它取决于用户输入数字的次数 我应该如何分配数组长度 如果用户输入 5 6 7 8 9 5 个数字 则 int list becomes int l
  • SwingUtilities.invokeLater

    我的问题与SwingUtilities invokeLater 我应该什么时候使用它 每次需要更新 GUI 组件时都必须使用吗 它到底有什么作用 是否有替代方案 因为它听起来不直观并且添加了看似不必要的代码 Do I have to use
  • @Transactional 注解属于哪里?

    如果您将 Transactional in the DAO类和 或其方法 或者注释使用 DAO 对象调用的服务类是否更好 或者注释两个 层 是否有意义 我认为事务属于服务层 它是了解工作单元和用例的人 如果您将多个 DAO 注入到需要在单个
  • Netty Nio java 中的通信

    我想在 Netty nio 中创建一个具有两个客户端和一个服务器的通信系统 更具体地说 首先 我希望当两个客户端与服务器连接时从服务器发送消息 然后能够在两个客户端之间交换数据 我正在使用本示例提供的代码 https github com
  • 从侦听器中修改 JFrame [重复]

    这个问题在这里已经有答案了 可能的重复 如何在框架可见后调用 setUndecorated https stackoverflow com questions 875132 how to call setundecorated after
  • java charAt() 和startsWith() 哪个更快? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我的问题是 如果我想检查特定索引中字符串的一个字符 仅检查一个字符 哪种方法非常有效charAt or startsWith 我的意思是 据我所
  • 为什么从类构造函数调用的方法应该是最终的? [复制]

    这个问题在这里已经有答案了 我是一名 Java 新手 我试图理解 Oracle 网站教程中的以下行 https docs oracle com javase tutorial java IandI final html https docs
  • AWS SQS Batch SendMessageBatchRequest 非常慢

    我的应用程序使用 SendMessageBatchRequest 将每个请求发布 10 条消息到 AWS SQS 每条消息的大小小于250字节 该应用程序预计每天发布约一百万条记录 但要实现这一目标 消息发布的速度非常慢 AmazonSQS
  • Spring Data MongoDB 和批量更新

    我正在使用 Spring Data MongoDB 并且想要执行批量更新 就像此处描述的那样 http docs mongodb org manual reference method Bulk find update Bulk find
  • java - 简单计算在多线程中比在单线程中花费更长的时间

    我试图了解如何利用多线程 我写了一个简单的程序来增加i 比方说 使用两种方式 400 000 次 单线程方式 0 到 400 000 和多线程方式 在我的例子中 4 次 0 到 100 000 线程数等于Runtime getRuntime
  • “mvn”不被识别为内部或外部命令、可操作程序或批处理文件

    可能是之前问过问题 但我发现了非常奇怪的错误 当我跑步时mvn versionbin 中的命令给出了版本和其他信息 但是 当我跑到垃圾箱外面时 它会出现异常 下面提到的结果 C Program Files apache maven 3 0
  • Selenium Webdriver - 单击多个下拉菜单时出现陈旧元素异常,而 HTML DOM 不会更改

    我尝试自动化一个场景 其中条件是我必须从下拉列表中选择一个选项 然后它旁边有另一个下拉列表 我必须单击下一个下拉列表中的一个选项才能启用按钮 我尝试使用代码 但它仅单击第一个选项 并显示错误为过时的元素引用 元素未附加到页面文档 请帮忙 如
  • RetentionPolicy CLASS 与 RUNTIME

    两者之间有什么实际区别RetentionPolicy CLASS and RetentionPolicy RUNTIME 看起来两者都被记录到字节码中 并且无论如何都可以在运行时访问 无论如何 两者都可以在运行时访问 那不是那个javado

随机推荐

  • 小白能看懂等Tacotron 中文语音合成实践

    简介 参考博客1 基于Tacotron汉语语音合成的开源实践 参考博客2 Tacotron中文语音合成 通过调研发现 针对TTS的开源项目主要是针对英文的 而中文方面资料相对较少 上面两个为本项目的主要参考 已有的信息就不进行重复了 同时感
  • 第一节:Keras深度学习框架之环境搭建

    请在学习本节前阅读我们之前的预热课程 卷积神经网络的框架解读 上 BBM的开源HUB的博客 CSDN博客 卷积神经网络的框架解读 下 BBM的开源HUB的博客 CSDN博客 从本节开始 我们将进入到Keras的详细介绍和代码精读 为开始我们
  • 如何设置淘宝镜像?

    在国外 受网速影响比较大 https registry npmjs org 1 配置 npm 为淘宝镜像 npm config set registry https registry npm taobao org 2 安装 cnpm 为淘宝
  • jdbc mysql url utf8_JDBC获得数据库连接时写在URL上的?useUnicode=true&characterEncoding=utf-8的意义...

    JDBC作为Java与数据库的桥梁 是JavaWeb后台的基础之一 需要我们熟悉其原理与用法 JDBC一般的使用步骤为 1 运用反射加载驱动程序 如Class forName com mysql jdbc Driver 2 获得数据库连接对
  • JVM类加载机制详解(一)JVM类加载过程

    首先Throws 抛出 几个自己学习过程中一直疑惑的问题 1 什么是类加载 什么时候进行类加载 2 什么是类初始化 什么时候进行类初始化 3 什么时候会为变量分配内存 4 什么时候会为变量赋默认初值 什么时候会为变量赋程序设定的初值 5 类
  • stm32编码器模式

    选择编码器接口模式的方法是 如果计数器只在TI2的边沿计数 则置TIMx SMCR寄存器中的 SMS 001 如果只在TI1边沿计数 则置SMS 010 如果计数器同时在TI1和TI2边沿计数 则 置SMS 011 TI1FP1和TI2FP
  • 游戏开发unity编辑器扩展知识系列:一个方法添加至多个MenuItem

    代码如下 用多个MenuItem标记方法就可以了 MenuItem GameObject 生成带图片的Image false 100 MenuItem Assets 生成带图片的Image static void GenImageGameO
  • 解决electron-builder打包很慢的问题

    由于网络原因 各种包下载不下来 导致出错 1 打包时下载 electron v10 1 4 win32 x64 文件失败 解决方法 直接在 淘宝的文件库 下载对应版本文件 下载完成后放在C Users renlei AppData Loca
  • 要求输入月份,判断该月所处的季节并输出季节(假设:12、1、2 月为冬季,依次类推)

    public class Task 10101003 03 public static void main String args Scanner input new Scanner System in System out println
  • Docker 从入门到精通(二) 搭建本地仓库

    导读 docker 是Linux下面的容器技术 是目前最火的开源技术之一 上次我们了解了docker的基础知识 docker的容器 仓库 镜像等 接下来我们就一起来看下本地仓库的搭建吧 一 本地安装 yum install y python
  • Vuex有那几种状态和属性?

    vuex的流程 页面通过mapAction异步提交事件到action action通过commit把对应参数同步提交到mutation mutation会修改state中对于的值 最后通过getter把对应值跑出去 在页面的计算属性中 通过
  • visual studio 2019工程移植到vs2017上

    系列文章目录 文章目录 系列文章目录 前言 一 解决方法 1 首先确认vs2019上的lib和dll版本是32位的还是64位 2 使用vs2017把相关的lib和dll编译一下 3 vs2019和vs2017相关项目配置 二 vs2019相
  • Qt实现窗口同比例放大/缩小

    实现思路 Qt中有resizeEvent事件 该事件当窗口大小改变时便会产生响应 所以可利用此来实现窗口同比例缩放问题 但是由于resizeEvent事件是随着窗口大小改变不断刷新的 因此在重写resizeEvent时 直接改变窗口大小 代
  • Python-with open() as f的用法

    常见的读写操作 with open r filename txt as f data user pd read csv f 文件的读操作 with open data txt w as f f write hello world 文件的写操
  • python3.10+selenium4.9.1初始化安装踩坑记

    2023年了 又开始捯饬web UI自动化 前些年appium写的比较多 现在又开始依据记忆中对于selenium的留存 开始练习用python来写 一 安装 首先 pycharm安装 python3 10安装 python环境变量设置为前
  • C++ 模板特化

    模板的特化 在使用模板时 可以实现一些与类型无关的代码 但对于一些特殊类型的可能会得到一些错误的结果 这时就一些需要特殊处理 对模板进行特化 在原模板类的基础上 针对特殊类型所进行特殊化的实现方式 模板特化又分为 函数模板特化 类模板特化
  • 关于Mysql线程的基本设置

    客户端发起连接到mysql server mysql server监听进程 监听到新的请求 然后mysql为其分配一个新的 thread 去处理此请求 从建立连接之开始 CPU要给它划分一定的thread stack 然后进行用户身份认证
  • 手把手教你部署AutoGPT,30分钟拥有自己的AI助手!

    如果不想往下看了 那就直接 点我 AutoGPT是由GPT 4驱动的开源应用程序 可以自主实现用户设定的任务目标 从AutoGPT开始 AI将可以自主地提出计划 然后执行计划 还具有互联网访问 长期和短期内存管理 用于文本生成的GPT 4实
  • std::packaged_task的简单使用

    std packaged task 包装一个可调用的对象 并且允许异步获取该可调用对象产生的结果 从包装可调用对象意义上来讲 std packaged task 与 std function 类似 只不过 std packaged task
  • 【Java】网络编程——多线程下载文件

    前言 多线程下载文件 比单线程要快 当然 线程不是越多越好 这和获取的源文件还有和网速有关 原理 在请求服务器的某个文件时 我们能得到这个文件的大小长度信息 我们就可以下载此长度的某一个片段 来达到多线程下载的目的 每条线程分别下载他们自己