Linux系统复制文件/文件夹到远程服务器

从一个服务器复制文件到另一个服务器，或者从本地到远程复制是 Linux 管理员的日常任务之一。

创新互联公司：于2013年开始为各行业开拓出企业自己的“网站建设”服务，为近1000家公司企业提供了专业的网站设计制作、成都网站建设、网页设计和网站推广服务， 按需设计网站由设计师亲自精心设计，设计的效果完全按照客户的要求，并适当的提出合理的建议，拥有的视觉效果，策划师分析客户的同行竞争对手，根据客户的实际情况给出合理的网站构架，制作客户同行业具有领先地位的。

我觉得不会有人不同意，因为无论在哪里这都是你的日常操作之一。有很多办法都能处理这个任务，我们试着加以概括。你可以挑一个喜欢的方法。当然，看看其他命令也能在别的地方帮到你。

我已经在自己的环境下测试过所有的 命令 和 脚本 了，因此你可以直接用到日常工作当中。

通常大家都倾向 scp，因为它是文件复制的原生命令native command之一。但本文所列出的其它命令也很好用，建议你尝试一下。

文件复制可以轻易地用以下四种方法。

scp：在网络上的两个主机之间复制文件，它使用 ssh 做文件传输，并使用相同的认证方式，具有相同的安全性。

rsync：是一个既快速又出众的多功能文件复制工具。它能本地复制、通过远程  shell  在其它主机之间复制，或者与远程的 rsync 守护进程daemon 之间复制。

pscp：是一个并行复制文件到多个主机上的程序。它提供了诸多特性，例如为 scp 配置免密传输，保存输出到文件，以及超时控制。

prsync：也是一个并行复制文件到多个主机上的程序。它也提供了诸多特性，例如为 ssh 配置免密传输，保存输出到 文件，以及超时控制。

方式 1：如何在 Linux 上使用 scp 命令从本地系统向远程系统复制文件/文件夹？

scp 命令可以让我们从本地系统复制文件/文件夹到远程系统上。

我会把 output.txt 文件从本地系统复制到 2g. CentOS .com 远程系统的 /opt/backup 文件夹下。

# scp output.txt root@2g.CentOS.com:/opt/backup

output.txt                                                                                              100% 2468    2.4KB/s  00:00

从本地系统复制两个文件 output.txt 和 passwd-up.sh 到远程系统 2g.CentOs.com 的 /opt/backup 文件夹下。

# scp output.txt passwd-up.sh root@2g.CentOS.com:/opt/backup

output.txt 100% 2468 2.4KB/s 00:00

passwd-up.sh 100% 877 0.9KB/s 00:00

从本地系统复制  shell -script 文件夹到远程系统 2g.CentOs.com 的 /opt/back 文件夹下。

这会连同shell-script 文件夹下所有的文件一同复制到/opt/back 下。

# scp -r /home/daygeek/2g/shell-script/ root@:/opt/backup/

output.txt 100% 2468 2.4KB/s 00:00

ovh.sh      100% 76 0.1KB/s 00:00

passwd-up.sh 100% 877 0.9KB/s 00:00

passwd-up1.sh 100% 7 0.0KB/s 00:00

server-list.txt 100% 23 0.0KB/s 00:00

方式 2：如何在 Linux 上使用 scp 命令和 Shell  脚本 复制文件/文件夹到多个远程系统上？

如果你想复制同一个文件到多个远程服务器上，那就需要创建一个如下面那样的小 shell 脚本。

并且，需要将服务器添加进 server-list.txt 文件。确保添加成功后，每个服务器应当单独一行。

最终，你想要的脚本就像下面这样：

# file-copy.sh

#!/bin/sh

for server in `more server-list.txt`

do

scp /home/daygeek/2g/shell-script/output.txt root@$server:/opt/backup

done

完成之后，给 file-copy.sh 文件设置可执行权限。

# chmod +x file-copy.sh

最后运行脚本完成复制。

# ./file-copy.sh

output.txt 100% 2468 2.4KB/s 00:00

output.txt 100% 2468 2.4KB/s 00:00

使用下面的脚本可以复制多个文件到多个远程服务器上。

# file-copy.sh

#!/bin/sh

for server in `more server-list.txt`

do

scp /home/daygeek/2g/shell-script/output.txt passwd-up.sh root@$server:/opt/backup

done

下面结果显示所有的两个文件都复制到两个服务器上。

# ./file-cp.sh

output.txt 100% 2468 2.4KB/s 00:00

passwd-up.sh 100% 877 0.9KB/s 00:00

output.txt 100% 2468 2.4KB/s 00:00

passwd-up.sh 100% 877 0.9KB/s 00:00

使用下面的脚本递归地复制文件夹到多个远程服务器上。

# file-copy.sh

#!/bin/sh

for server in `more server-list.txt`

do

scp -r /home/daygeek/2g/shell-script/ root@$server:/opt/backup

done

上述脚本的输出。

# ./file-cp.sh

output.txt 100% 2468 2.4KB/s 00:00

ovh.sh      100% 76 0.1KB/s 00:00

passwd-up.sh 100% 877 0.9KB/s 00:00

passwd-up1.sh 100% 7 0.0KB/s 00:00

server-list.txt 100% 23 0.0KB/s 00:00

output.txt 100% 2468 2.4KB/s 00:00

ovh.sh      100% 76 0.1KB/s 00:00

passwd-up.sh 100% 877 0.9KB/s 00:00

passwd-up1.sh 100% 7 0.0KB/s 00:00

server-list.txt 100% 23 0.0KB/s 00:00

方式 3：如何在 Linux 上使用 pscp 命令复制文件/文件夹到多个远程系统上？

pscp命令可以直接让我们复制文件到多个远程服务器上。

使用下面的 pscp 命令复制单个文件到远程服务器。

# pscp.pssh -H 2g.CentOS.com /home/daygeek/2g/shell-script/output.txt /opt/backup

[1] 18:46:11 [SUCCESS] 2g.CentOS.com

使用下面的 pscp 命令复制多个文件到远程服务器。

# pscp.pssh -H 2g.CentOS.com /home/daygeek/2g/shell-script/output.txt ovh.sh /opt/backup

[1] 18:47:48 [SUCCESS] 2g.CentOS.com

使用下面的 pscp 命令递归地复制整个文件夹到远程服务器。

# pscp.pssh -H 2g.CentOS.com -r /home/daygeek/2g/shell-script/ /opt/backup

[1] 18:48:46 [SUCCESS] 2g.CentOS.com

使用下面的 pscp 命令使用下面的命令复制单个文件到多个远程服务器。

# pscp.pssh -h server-list.txt /home/daygeek/2g/shell-script/output.txt /opt/backup

[1] 18:49:48 [SUCCESS] 2g.CentOS.com

[2] 18:49:48 [SUCCESS] 2g.Debian.com

使用下面的 pscp 命令复制多个文件到多个远程服务器。

# pscp.pssh -h server-list.txt /home/daygeek/2g/shell-script/output.txt passwd-up.sh /opt/backup

[1] 18:50:30 [SUCCESS] 2g.Debian.com

[2] 18:50:30 [SUCCESS] 2g.CentOS.com

使用下面的命令递归地复制文件夹到多个远程服务器。

# pscp.pssh -h server-list.txt -r /home/daygeek/2g/shell-script/ /opt/backup

[1] 18:51:31 [SUCCESS] 2g.Debian.com

[2] 18:51:31 [SUCCESS] 2g.CentOS.com

了解关于SSH远程连接服务

  1、什么是SSH

         SSH是专门为了远程登录会话和其他网络服务提供的安全性协议，使用SSH协议可以有效的防止远程连接会话的时候出现信息泄密，在数据传输的时候SSH会先对联机的数据包通过加密技术进行加密处理，加密后在进行数据的传输，确保了传输中的安全性,SSH服务主要提供两个服务功能：一个是远程联机的SSH服务，一个是借助SSH协议来传输数据的SFTP服务

    2、SSH原理阐述

          ① 服务端开启ssh服务监听22端口

② 客户端发送联机请求(携带IP和端口)

③ 客户端服务端进行联机加密认证

④ 认证通过联机成功

    3、SSH的两种认证方式

          ① 基于密码口令的认证

② 基于秘钥的安全认证

    4、SSH认证类型阐述

          基于密码口令的方式：

基于密码的安全认证就是我们一直在用的，只要知道服务器的SSH连接账号和密码(当然也要知道服务器的IP和端口(默认22))，就可以通过客户端远程登录到主机了，所以的传输过程都是加密的

基于秘钥的安全认证：

① 运行SSH服务，生成密钥对

② 客户端发送公钥到服务端(通过ssh-copy-id或者其他的方式)

③ 客户端发送连接请求

                  ④ 服务端进行对密钥的验证

⑤ 验证成功服务端将用公钥加密质询，发送给客户端

⑥ 客户端用自己的私钥解密质询

⑦ 客户端将解密后的质询发送给服务端

⑧ 服务端验证质询

⑨ 验证通过，建立连接

    5、SSH联机加密过程原理阐述

补充：SSH2版本中为了修补SSH1中不验证整合秘钥对的漏洞，加入了一个确认联机正确性的Diffie-Hellman机制(每次联机都会进行秘钥对的校验)

      1、expect

      2、sshpass

      3、pssh

     ① SSH是安全加密协议，用于远程连接linux服务器

② SSH默认端口是22，安全协议版本是SSH2，除了SSH2还有SSH1，但是1有漏洞

③ SSH服务端只要包含两个服务，一个是SSH一个是SFTP

④ Linux SSH 客户端包含ssh远程连接命令，以及远程scp命令等

⑤ SSH配置文件的优化很重要，可以提高服务器的安全性，也可以提高远程连接的速度

Linux设置定时任务

《使用PSSH批量管理Linux》 一文中，已经学习了使用p.sh批量管理linux的技巧。而很多时候，我们需要定时执行一些任务，或者需要定时执行一些批量任务。因此，本文就来研究一下linux设置定时任务的方法。

主要参考 Linux Crontab 定时任务 、 Linux定时任务Crontab命令详解 和 Linux 定时任务详解 。

cron（crond）是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程。linux系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。另外，由于使用者自己也可以设置计划任务，所以，linux系统也提供了使用者控制计划任务的命令：crontab命令。

crontab命令是cron table的简写，它是cron的配置文件，也可以叫它作业列表，我们可以在以下文件夹内找到相关配置文件。

linux下的任务调度分为两类，系统任务调度和用户任务调度。

系统任务调度：系统周期性所要执行的工作，比如写缓存数据到硬盘、日志清理等。 /etc/crontab 文件就是系统任务调度的配置文件。

用户任务调度：用户定期要执行的工作，比如用户数据备份、定时邮件提醒等。用户可以使用 crontab 工具来定制自己的计划任务。所有用户定义的crontab文件都被保存在 /var/spool/cron/crontabs/ 目录中，其文件名与用户名一致。

假设我们使用的是Ubuntu14.04.5 Server版，查看 /etc/crontab ，内容为：

第一行SHELL变量指定了系统要使用哪个shell；第二行PATH变量指定了系统执行 命令的路径。

接下来的命令格式为：

m h dom mon dow user command

英文全拼为：

minute hour day month week user commond

注意， /var/spool/cron 目录中的用户调度任务，没有user一项，因为文件名已经代表了user。

在以上各个字段中，还可以使用以下特殊字符：

crontab命令格式为：

crontab [-u username] [file] [ -e | -l | -r ]

设置定时任务和时间紧密相关，如果服务器的时区时间设置和本地不同，就不能保证计划任务的正确执行。所以使用crontab的第一步，是调节好服务器的时间。

下面参考 Ubuntu 16.04将系统时间写入到硬件时间BIOS ，对服务器时间进行调节。

时间是有时区的，无论硬件时间还是操作系统时间。hwclock的时区在/etc/default/rcS文件中设置，里面有一个参数UTC，默认值为yes，表示使用UTC时区，如果设置为no，那表示使用osclock的时区。建议hwclock与osclock设置相同的时区，也就是no。

1、查看服务器硬件时间

sudo hwclock -r ，看到的时间格式为： Wed 23 May 2018 11:02:17 AM HKT -0.031663 seconds

2、查看服务器系统时间

date ，看到的时间格式为： Wed May 23 11:02:41 HKT 2018

3、设置hwclock和osclock时区相同

sudo vim /etc/default/rcS ，找到：

修改为：

4、将系统时间写入硬件时间

sudo hwclock -w

5、修改系统时区

osclock的时区配置文件为/etc/timezone，不建议直接修改配置文件。

如果你想修改为CST时间，那么执行 sudo tzselect 命令时，选择Asia-China-Beijing Time即可，这时会提示使用Asia/Shanghai时区。（ubuntu和centos通用）

6、设置即刻生效

执行 date ，发现时区没有变化，依然是HKT。

sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

sudo ntpdate time.windows.com

如果执行ntpdate报错：ntpdate[18409]: no server suitable for synchronization found ，那么就换一个时间同步工具。

sudo apt-get install rdate

sudo rdate -s time-b.nist.gov

再次执行 date ，发现时区已经变成了CST。

7、硬件时间同步

sudo hwclock -r ，发现硬件时间落后。

sudo hwclock -w ，再次把系统时间写入硬件时间，同步完成。

实例1：每分钟、每小时、每天、每周、每月、每年执行

实例2：每小时的第3和第15分钟执行

3,15 * * * * myCommand

实例3：在上午8点到11点的第3和第15分钟执行

3,15 8-11 * * * myCommand

实例4：每隔两天的上午8点到11点的第3和第15分钟执行

3,15 8-11 */2 * * myCommand

实例5：每周一上午8点到11点的第3和第15分钟执行

3,15 8-11 * * 1 myCommand

实例6：每晚的21:30重启smb

30 21 * * * /etc/init.d/smb restart

实例7：每月1、10、22日的4 : 45重启smb

45 4 1,10,22 * * /etc/init.d/smb restart

实例8：每周六、周日的1 : 10重启smb

10 1 * * 6,0 /etc/init.d/smb restart

实例9：每天18 : 00至23 : 00之间每隔30分钟重启smb

0,30 18-23 * * * /etc/init.d/smb restart

实例10：每星期六的晚上11 : 00 pm重启smb

0 23 * * 6 /etc/init.d/smb restart

实例11：每一小时重启smb

0 * * * * /etc/init.d/smb restart

实例12：晚上11点到早上7点之间，每隔一小时重启smb

0 23-7/1 * * * /etc/init.d/smb restart

实例13：每月的4号与每周一到周三的11点重启smb

0 11 4 * mon-wed /etc/init.d/smb restart

实例14：一月一号的4点重启smb

0 4 1 jan * /etc/init.d/smb restart

实例15：每小时执行/etc/cron.hourly目录内的脚本

01 * * * * root run-parts /etc/cron.hourly

run-parts这个参数了，如果去掉这个参数的话，后面就可以写要运行的某个脚本名，而不是目录名了。

目标：每分钟查看一下ganglia的状态，并保存到/tmp/log/ganglia目录。

1、创建/tmp/log/ganglia目录

sudo mkdir -p /tmp/log/ganglia

sudo chmod a+w /tmp/log/ganglia

2、编辑crontab

crontab -e ，选择编辑器为vim

3、在crontab文件中添加一行

4、查看crontab任务

crontab -l ，看到任务已经添加成功。

5、等待了五分钟，发现/tmp/log/ganglia目录下啥也没有。

sudo service cron status ，状态正常。

sudo /etc/init.d/cron restart ，重启cron试试。

又等待了五分钟，发现/tmp/log/ganglia目录下依然空空。

莫非是因为pssh没有使用绝对路径？ whereis pssh ，找到pssh路径为 /usr/lib/pssh ，修改crontab为：

然而，并没有用。

还是查看下crontab日志吧！

以下主要参考 Ubuntu下用crontab 部署定时任务 。

1、编辑50-default.conf

sudo vim /etc/rsyslog.d/50-default.conf

2、把cron前的井号去掉，也就是修改为：

3、重启rsyslog服务

sudo service rsyslog restart

4、重启crontab服务

sudo service cron restart

5、查看crontab日志

less /var/log/cron.log

果然发现了问题：

也就是说，命令确实按时执行了，只不过没有执行完，被百分号截断了，导致log文件没有正常生成！

修改crontab为：

终于，log文件成功生成，nice！但是，文件内容是空的！因为， /usr/lib/pssh 是一个目录，不是pssh命令！真正的pssh命令是parallel-ssh，找到它的位置为 /usr/bin/parallel-ssh ，修改crontab：

至此，问题圆满解决。

实际使用的时候，一天获取一次ganglia的状态就够了，所以crontab改成：

以上，每天执行一次定时任务，抓取ganglia的运行状态保存到日志文件中。紧接着，我们的目标是使用脚本检查当天的日志文件，如果发现ganglia运行异常，则产生一个错误日志。

1、假设日志文件ganglia-20180524.log的内容为：

2、参考 grep命令最经常使用的功能总结 ，编写脚本checkganglia.sh

3、执行

chmod a+x checkganglia.sh

./checkganglia.sh

如果所有客户机的ganglia运行正常，就会输出All services are runing!。如果有的客户机ganglia进程不存在，则会在/tmp/log/ganglia/目录下生成当天的错误日志。

4、设置定时运行

因为日志的检查工作要在日志生成之后，所以时间上延后十分钟。

上面的脚本，还有很多要改进的地方。比如有的客户机宕机了，上面的脚本检查不出来。比如有的客户机ganglia服务没有启动，那么具体是哪几台？针对这两个问题，下面进行改进。假设已经知道客户机的数量为10。

参考 csplit命令 ，checkganglia.sh脚本修改为：

以上脚本，实现了当客户机数量不为10的时候，进行报错；当客户机ganglia服务没有启动时，进行报错，并且筛选出所有没有启动ganglia的客户机。

本文中，我们先学习了crontab的基础知识和基本用法。然后通过监控ganglia这一个应用场景来具体学习crontab的详细使用方法，包括查看cron日志的方法，crontab中命令转义的方法，定时执行脚本的方法，以及审阅日志脚本的编写和进阶。

至此，还不够完美，因为我们需要每天登录管理机查看有没有错误日志。下一篇 Linux设置邮件提醒 中，我们将会研究linux设置邮件提醒的方法。审阅完日志后，如果脚本能够给我们发送一封邮件，告知我们审阅的结果，那么我们就不必再每天查看错误日志。

名称栏目：linuxpssh命令 linux中的ps命令什么意思
分享URL：http://azwzsj.com/article/dospdci.html