当使用SFTP上传100个每个100字节的文件时,这里需要17秒(after连接建立了,我什至没有计算初始连接时间)。这意味着仅传输 10 KB 需要 17 秒,即 0.59 KB/秒!
我知道发送 SSH 命令到open
, write
, close
等可能会产生很大的开销,但仍然,使用 SFTP 发送许多小文件时,有没有办法加快进程?
或者特殊模式paramiko
/ pysftp
将所有要执行的写入操作保留在内存缓冲区中(假设最后 2 秒的所有操作),然后在 SSH/SFTP 的一次分组传递中执行所有操作?这将避免每次操作之间等待 ping 时间。
Note:
- 我的连接上传速度约为 100 KB/s(测试为 0.8 Mbit 上传速度),到服务器的 ping 时间为 40 毫秒
- 当然,如果我不是发送 100 个 100 字节的文件,而是发送 1 个 10 KB 字节的文件,则需要
- 我不想在远程运行二进制程序,只接受 SFTP 命令
import pysftp, time, os
with pysftp.Connection('1.2.3.4', username='root', password='') as sftp:
with sftp.cd('/tmp/'):
t0 = time.time()
for i in range(100):
print(i)
with sftp.open('test%i.txt' % i, 'wb') as f: # even worse in a+ append mode: it takes 25 seconds
f.write(os.urandom(100))
print(time.time() - t0)
使用以下方法(100 个异步任务),它在大约 0.5 秒内完成,这是一个巨大的改进。
import asyncio, asyncssh # pip install asyncssh
async def main():
async with asyncssh.connect('1.2.3.4', username='root', password='') as conn:
async with conn.start_sftp_client() as sftp:
print('connected')
await asyncio.wait([sftp.put('files/test%i.txt' % i) for i in range(100)])
asyncio.run(main())
我将探索源代码,但我仍然不知道它是否将许多操作分组到几个 SSH 事务中,或者它是否只是并行运行命令。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)