VPS之间数据迁移

data transmission between two vps

  linkthis    2017-12-29    841 words

一次自坑的尝试

于圣诞节的期间购买了一款年付的存储的KVM VPS之后,由于其流量和性能方面的限制,决定将之前储存在另外一台VPS的数据进行迁移,然后就有了这篇文章。为自己以后的迁移留下记录。已经不会再有下一次了

情况介绍

之前的VPS的数据主要分布在14个文件夹当中,其中含有不少于4517子文件夹,小文件5万以上,总大小350G+。两台VPS均位于美国。

使用SCP

VPS之间的文件传输首先想到的就是SCP,操作简单快捷。
本次使用SCP的时候发现在开始传输的时候,SCP速度可以保持在7M/S,但是持续三分钟左右速度就会下降,而且由于小文件过多,实际平均速度一直维持在5M/S。遂弃疗。

BBCP

在放弃使用SCP之后,谷歌到了BBCP,当时排在前面的是 bbcpUsing BBCP,给我第一印象是这软件估计停留在2008以前。不过之后发现slac直到2015.10.2都在对其进行更新。
编译之后开始传输文件,发现速度并没有什么提升,在继续浏览说明和几篇中文教程之后发现BBCP的速度提升主要是大文件传输,对零散小文件并没有什么效果。麻烦在介绍开头说清楚继续弃疗。如果需传输大型单个文件,请参看这篇文章 Using BBCP

Rsync

最后选择了rsync,看介绍说明其用于多服务器同步,并有增量备份等功能其实并没有什么鬼用。将其扔在screen里面之后就看论文去了。隔了一段时间之后回来查看,发现其显示 Transport Error 于是清除了screen进程,之后发现其实隔一段时间之后rsync会继续运行,并不是rsync停止了工作。当时的我并没有开启断点续传功能,并且由于一时手滑,当时还错误删除了一个40G+文件夹

总结

在面对大量小文件传输的时候,以上的三种工具似乎都没有很好的表现tar打包用bbcp。所以建议放弃思考。
如果有哪位大佬知道如何高效传输小文件,欢迎在下方留言,本人感激不尽。

截止本文完成,rsync仍然没有完成传输,诸位,我去二次元了。
本文采用CC BY-NC-ND 4.0许可协议进行许可,转载请注明出处。




Image of Wechat