你是否有以下需求?
- 有大量文件需要传输,却在传输过程中卡住,或速度很慢?
- 希望在本地和远程服务器之间传输大量文件而不想逐个下载
- 需要将一个文件夹中的文件(全量备份或增量备份—每次只传输自上一次以来增加的文件)转移到另外一处…
- 其他需要文件传输时想要提速的场景。
如果有,那么你来对地方了,你所需要的,正是rsync!
rsync是什么
rsync 是一个常用的 Linux 应用程序,用于文件同步。
它可以在本地计算机与远程计算机之间,或者两个本地目录之间同步文件(但不支持两台远程计算机之间的同步)。它也可以当作文件复制工具,替代 cp
和 mv
命令。
它名称里面的 r
指的是 remote,rsync 其实就是”远程同步”(remote sync)的意思。与其他文件传输工具(如 FTP 或 scp)不同,rsync 的最大特点是会检查发送方和接收方已有的文件,仅传输有变动的部分(默认规则是文件大小或修改时间有变动)。 这可以节省大量时间和带宽。
虽然说rsync原来是linux程序,可毕竟是开源的,而且很好用,于是有人把它移植到了Windows下。即cwrsync
在linux下,只要用你的包管理器一行命令就好了。
怎么用?
和一般的linux应用的用法一样,rsync的命令调用如下:
先说明一下:src
指文件源 dst
指目的地
以下是参数列表:(你可以按下Ctrl+F快速查找)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
| -v:显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。 --partial:保留那些因故没有完全传输的文件,以是加快随后的再次传输 --info=progress2: 显示的进度条比--progress简洁,省时间,内存和CPU -P:显示文件传输的进度信息。(实际上"-P"="--partial --progress",其中的"--progress"才是显示进度信息的)。 -n --dry-run :仅测试传输,而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。 -a --archive :归档模式,表示递归传输并保持文件属性。等同于"-rtopgDl"。 -r --recursive:递归到目录中去。 -t --times:保持mtime属性。强烈建议任何时候都加上"-t",否则目标文件mtime会设置为系统时间,导致下次更新 :检查出mtime不同从而导致增量传输无效。 -o --owner:保持owner属性(属主)。 -g --group:保持group属性(属组)。 -p --perms:保持perms属性(权限,不包括特殊权限)。 -D :是"--device --specials"选项的组合,即也拷贝设备文件和特殊文件。 -l --links:如果文件是软链接文件,则拷贝软链接本身而非软链接所指向的对象。 -z :传输时进行压缩提高效率。 -R --relative:使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端,包括它们的属性。用法见下文示例。 --size-only :默认算法是检查文件大小和mtime不同的文件,使用此选项将只检查文件大小。 -u --update :仅在源mtime比目标已存在文件的mtime新时才拷贝。注意,该选项是接收端判断的,不会影响删除行为。 -d --dirs :以不递归的方式拷贝目录本身。默认递归时,如果源为"dir1/file1",则不会拷贝dir1目录,使用该选项将拷贝dir1但不拷贝file1。 --max-size :限制rsync传输的最大文件大小。可以使用单位后缀,还可以是一个小数值(例如:"--max-size=1.5m") --min-size :限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。 --exclude :指定排除规则来排除不需要传输的文件。 --delete :以SRC为主,对DEST进行同步。多则删之,少则补之。注意"--delete"是在接收端执行的,所以它是在 :exclude/include规则生效之后才执行的。 -b --backup :对目标上已存在的文件做一个备份,备份的文件名后默认使用"~"做后缀。 --backup-dir:指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。 -e :指定所要使用的远程shell程序,默认为ssh。 --port :连接daemon时使用的端口号,默认为873端口。 --password-file:daemon模式时的密码文件,可以从中读取密码实现非交互式。注意,这不是远程shell认证的密码,而是rsync模块认证的密码。 -W --whole-file:rsync将不再使用增量传输,而是全量传输。在网络带宽高于磁盘带宽时,该选项比增量传输更高效。 --existing :要求只更新目标端已存在的文件,目标端还不存在的文件不传输。注意,使用相对路径时如果上层目录不存在也不会传输。 --ignore-existing:要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能 --remove-source-files:要求删除源端已经成功传输的文件。 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
|
太长不看
这时我一般用来增量备份QQ文件的命令:
1
| rsync -avPzr QQ/ /mnt/btrfs/school
|
你只需要将第一个路径(源路径)和第二个路径(目标路径)换一下就好
以下命令用来备份pengs.top服务器,增量备份,多则删之,少则补之
1
| sudo rsync -azr -e ssh root@pengs.top:/ /mnt/btrfs/backup/backserver --info=progress2 --partial --delete --exclude=/var/backups --exclude=/var/lock --exclude=/var/tmp --exclude=/root/.cache --exclude=/var/log --exclude=/var/cache --exclude=/proc --exclude=/var/swap --exclude=/lost+found --exclude=/mnt --exclude=/sys --exclude=/run --exclude=/media --exclude=/dev --exclude=/tmp --exclude=/boot --exclude=/root/swapfile
|
此处必须加sudo,否则权限无法保留,恢复会很烦。
效果如图:
效果如图 你可以看到,速度远大于我本地的带宽,因为开了压缩,而且服务器上有很多文本类的配置文件及空文件(夹),很适合压缩
注意
rsync有一个非常需要注意的地方,也就是其路径表示
如果你的路径末尾没有以 /
结尾,意思是该目录下所有文件
如果是以 /
结尾的,则表示将该目录作为一个整体传输,简单来说,就是会在目标路径下再创建一个子目录,其后拷贝文件。