Rsync Server: настройка синхронизации на CentOS и Ubuntu

Установка и запуск

По умолчанию, утилита может быть не установлена в системе. Установка и последующий запуск выполняются следующими командами.

CentOS 8

yum install rsync rsync-daemon

systemctl enable rsyncd –now

CentOS 7

yum install rsync

systemctl enable rsyncd –now

Ubuntu

apt-get install rsync

Открываем следующий файл:

vi /etc/default/rsync

Находим запись:

RSYNC_ENABLE=false

И меняем на:

RSYNC_ENABLE=true

Запускаем:

/etc/init.d/rsync start

Настройка

Открываем конфигурационный файл rsync:

vi /etc/rsyncd.conf

И настраиваем его, примерно, следующим образом:

max connections = 10
exclude = lost+found/
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 *.rar *.7z *.mp3 *.jpg
 

[data1]     path = /data1/
    comment = Public folders
    read only = yes
    list = yes
    auth users = rsync_d1
    secrets file = /etc/rsyncd.scrt
    hosts allow = localhost 192.168.0.15 192.168.0.20
    hosts deny = *
 

[data2]     uid = root
    gid = root
    path = /data2/
    comment = Private folders
    read only = yes
    list = yes
    auth users = rsync_d2, backup
    secrets file = /etc/rsyncd.scrt
    hosts allow = localhost 192.168.0.16 192.168.0.21
    hosts deny = *

где первая группа параметров являются общими настройками:

• max connections — максимальное число одновременных подключений. Стоит задать, чтобы не перегружать сервер.
• exclude — папки, которые стоит исключить из синхронизации. В конкретном примере каталог для размещения восстановленных после проверки диска файлов.
• dont compress — указываем, какие файлы не нужно сжимать при отправке. Имеет смысл указать те, сжатие которых не даст результата, например, архивы, сжатые аудио и изображения.

а также каждый ресурс настраивается отдельно (в нашем примере data1 и data2):

• uid — пользователь, от которого будет выполнена синхронизация для конкретного ресурса.
• gid — группа, от которой будет выполнена синхронизация для конкретного ресурса.
• path — путь до ресурса, для которого выполняется синхронизация.
• comment — описание для удобства.
• read only — режим для чтения; позволяет защитить данные от удаления или изменения.
• list — разрешает или запрещает чтения содержимого каталога. Если запрещено (no), синхронизация может выполняться для конкретно перечисленных файлов.
• auth users — проверка подлинности, вводом логина с паролем.
• secrets file — файл, в котором размещены логин и пароль.
• hosts allow — перечисление хостов, с которых разрешено обращаться к rsync серверу.
• hosts deny — перечисление хостов, с которых запрещено обращаться к rsync серверу (в данном примере, со всех, кроме разрешенных).

Создаем файл для аутентификации:

vi /etc/rsyncd.scrt

rsync_d1:password1
rsync_d2:password2
backup:password3

* где rsync_d1:password1 — соответственно, пользователь rsync_d1 с паролем password1.

В целях безопасности, устанавливаем доступ только для владельца:

chmod 600 /etc/rsyncd.scrt

Перезапускаем сервис одной из команд:

systemctl restart rsyncd

/etc/init.d/rsync restart

service rsyncd restart

Добавляем порты в брандмауэр.

Firewalld:

firewall-cmd –permanent –add-port=873/tcp

firewall-cmd –permanent –add-port=22/tcp

firewall-cmd –reload

Iptables:

iptables -I INPUT 1 -p tcp –dport 873 -j ACCEPT

iptables -I INPUT 1 -p tcp –dport 22 -j ACCEPT

Запуск клиента

Проверка на локальном компьютере

Сначала выполним следующую команду на нашем сервере:

rsync -avv –progress rsync_d1@localhost::data1 /tmp/

* данная команда выполнит синхронизацию нашего ресурса data1 с каталогом /tmp.

Проверка на удаленном компьютере

Устанавливаем rsync, если еще не установлен:

yum install rsync

apt-get install rsync

* первая команда для CentOS, вторая — Ubuntu.

Запускаем синхронизацию:

rsync -avv rsync_d1@192.168.0.5::data1 /tmp/

* где 192.168.0.5 — IP-адрес rsync сервера.

Пример готового скрипта для синхронизации папок

Скрипт довольно прост:

#!/bin/bash
PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
password_file=’/etc/rsyncd.scrt’
user=’opros’
ip=’192.168.0.15′
source=’data1′
destination=’/tmp/’
rsync -a –delete-after –password-file=$password_file $user@$ip::$source $destination

* где:

• password_file — пароль, в котором будет храниться пароль.
• user — учетная запись для авторизации.
• ip — IP-адрес сервера rsync.
• source — имя ресурса на сервере.
• destination — каталог, в который синхронизируем файлы.

После создаем файл с паролем:

vi /etc/rsyncd.scrt

password

* в данном файле указываем только пароль без имени учетной записи.

После задаем права:

chmod 600 /etc/rsyncd.scrt

Автоматизировать синхронизацию можно с помощью CRON:

crontab -e

0 */1 * * * /scripts/syncing.sh

* где /scripts/syncing.sh — наш скрипт. В данном примере задание будет выполняться каждый час.

Что лучше поставить для backend`a?

• 1 подписчик
• 23 часа назад
• 174 просмотра

ответа
4

• Linux

• +1 ещё

Средний

Юнит wakeupV6.service: Failed, как фиксить?

• 1 подписчик
• вчера
• 35 просмотров

ответов
0

• Linux

• +3 ещё

Простой

rsync: failed to set permissions on “/path/to/someFile”: Operation not permitted

Situation

It’s all in the title :

• I’m trying to rsync data with the -a flag enabled (which implies -p)
• the user running rsync :
  • has rwx access permissions on :
    • /path/to/someFile : the file itself
    • /path/to/ : its parent directory

    which was granted via ACLextended

  • is not the owner of /path/to/someFile

Details

• To effectively preserve permissions (-p), rsync requires the same permission level as to run chmod (source).
• On the destination side of my rsync operation :
  • I cantouch /path/to/someFile
  • I can’tchmod /path/to/someFile
• It turns out that chmodsome privileges are required to run , which explains why it failed at the preceding step.

Solution

As a workaround, if you’re not interested in preserving file permissions, you can disable rsync’s -p with –no-perms.

• Source :

  https://unix.stackexchange.com/questions/12203/rsync-failed-to-set-permissions-on-error-with-rsync-a-or-p-option/126489#126489

Error reading response length from authentication socket.

Situation

This message looks more like a warning than an actual error (?). Anyway, it seems to be related to a local ssh agent issue

Details

Could be caused by :

• local process(es ?) missing the result of eval $(ssh-agent)
• or concurrent ssh-agent processes :
  1. Check it with pgrep ssh-agent
  2. “kill -1” the extra processes

I experimented a bit on the machine having the issue, but after playing around I’ve not been able to reproduce it anymore. So more details someday (… maybe )

• Source :

  https://unix.stackexchange.com/questions/36053/ssh-error-reading-response-length-from-authentication-socket

• Source :

  https://superuser.com/questions/622852/ssh-add-c-not-working-error-reading-response-length-from-authentication-socket

Какой linux поставить на современный ноутбук?

• 2 подписчика
• 13 окт.
• 278 просмотров

ответов
9

Показать ещёЗагружается…

Вакансии с Хабр Карьеры

Инженер Linux

Infinnity Solutions
•Челябинск
от 145 000 до 260 000 ₽

Senior Linux Developer

SberTech
•Москва
от 250 000 ₽

Linux administrator/Support engineer 2L

SberTech
•Москва
До 250 000 ₽
Ещё вакансии

Заказы с Хабр Фриланса

Поиск клиентов по разработке на 1С и SEO

17 окт. 2022, в 13:16
100000 руб./за проект

Перенести и адаптировать JS модуль сайта

17 окт. 2022, в 13:12
5000 руб./за проект

Разработка мобильного приложения для Mebel169/169.ru

17 окт. 2022, в 12:46
2500 руб./в час
Ещё заказы

Минуточку внимания

Присоединяйтесь к сообществу, чтобы узнавать новое и делиться знаниями

Зарегистрироваться

Самое интересное за 24 часа

• Имеет ли смысл такая оптимизация?

  • 4 подписчика
  • 0 ответов

• Есть ли сайт, на котором можно узнать разницу между двумя английскими словами?

  • 2 подписчика
  • 3 ответа

• Легален ли дизайн сайта со стилистикой популярных фильмов?

  • 6 подписчиков
  • 2 ответа

• Как написать батник для перезапуска Outlook?

  • 2 подписчика
  • 0 ответов

• Можно ли как-то получит данные об изменениях в Google Sheets с помощью python?

  • 2 подписчика
  • 1 ответ

• Почему при подключении второго монитора оба экрана поочерёдно выключаются и включаются?

  • 3 подписчика
  • 2 ответа

• Как стабильно стримить с картой amd?

  • 2 подписчика
  • 2 ответа

• Как расположить список как на скриншоте?

  • 3 подписчика
  • 1 ответ

• Какой протокол лучше выбрать для шифрованного обмена файлами?

  • 3 подписчика
  • 5 ответов

• Надо заполнить дерево из списка, почему не заполняется и при выводе дает 0?

  • 2 подписчика
  • 0 ответов

• © Habr
• О сервисе
• Обратная связь
• Блог

ksh: rsync: not found when trying to rsync files between a Linux and a Solaris machine

Situation

The complete error message is :
ksh: rsync: not found
rsync: connection unexpectedly closed (0 bytes received so far) [receiver] rsync error: remote command not found (code 127) at io.c(600) [receiver=3.0.6]

Details

This is caused by the PATH variable not having the same value on both ends of the connection.

Как заменить нижнее подчеркивание на пробел в имени файла?

• 2 подписчика
• 14 окт.
• 81 просмотр

ответа
2

• Linux

• +3 ещё

Простой

Ключи запуска rsync

Общий синтаксис:

rsync <опции> <источник> <назначение>

Список и описание опций:

КлючОписание

-v, –verbose	Вывод подробной информации о процессе синхронизации. Стоит использовать для отладки.
-q, –quiet	Не выводит сообщения об ошибках.
–no-motd	Не выводит приветствие в MOTD
-c, –checksum	Сравнивать файлы по контрольной сумме, а не времени или размеру.
-a, –archive	Режим архивирования или то же самое, что с ключами -rlptgoD (без -H,-A,-X). Используется для удобства, чтобы не перечислять много опций.
–no-<опция>	Отключает конкретную опцию, например, вышеописанная no-motd.
-r, –recursive	Рекурсивный режим для каталогов.
-R, –relative	Использовать относительные пути.
–no-implied-dirs	Выключить параметр –relative.
-b, –backup	Режим резервного копирования. С его помощью при обновлении файлов в папке назначения для них создается копия.
–backup-dir=<каталог>	В режиме резервного копирования указывает каталог, в котором будут храниться копии.
–suffix=SUFFIX	В режиме резервного копирования задает суффикс для сохраненных файлов.
-u, –update	Пропускать файлы, которые новее в папке назначения (копировать только измененные файлы).
-d, –dirs	Не использовать рекурсию для каталогов.
-l, –links	Копировать симлинки как симлинки.
-L, –copy-links	Копировать не симлинк а ее содержимое (трансформировать симлинк в каталог).
-k, –copy-dirlinks	Преобразовать симлинк на каталог в обычный каталог.
-K, –keep-dirlinks	В папке назначения обрабатывать симлинк как каталог.
-H, –hard-links	Сохранять жесткие ссылки.
-p, –perms	Сохранять разрешения (права доступа).
-E, –executability	Сохранить права на исполнение.
–chmod=<права>	Изменить права доступа на конкретные.
-A, –acls	Сохранить права ACL.
-X, –xattrs	Сохранить атрибуты файлов.
-o, –owner	Сохранить владельца (только от суперпользователя).
-g, –group	Сохранить группу владельца.
–devices	Копировать файлы-устройства (разрешено только при выполнении команды с правами суперпользователя).
–copy-devices	Копировать файлы устройства как обычные файлы.
–specials	Сохранять специальные файлы.
-D	Заменяет –devices и –specials одновременно.
-t, –times	Сохранять временные отметки.
-S, –sparse	Выполнение дефрагментации в момент копирования данных.
-n, –dry-run	Режим тестирования. Выполняется пробный запуск, при котором будет показаны изменения, но сами изменения выполнены не будут.
-W, –whole-file	Копировать файлы целиком. По умолчанию, для копирования файлов используется алгоритм дельта-хэфера, который позволяет переносить только часть с изменениями. На практике, это сильно ускоряет процесс копирования. Ключ применяется в тех случаях, когда нужно перенести файл целиком.
-x, –one-file-system	Не разрешает переходить границы файловой системы. Например, если в один из синхронизируемых каталогов может быть примонтирована сетевая файловая система, ее копирование может вызвать неудобства.
-B, –block-size=<размер>	Принудительно фиксировать размер блока контрольной суммы
-e, –rsh=<команда>	Указать оболочку для использования, например SSH.
–existing	Не создавать новые файлы в каталоге назначения.
–ignore-existing	Не обновлять существующие файлы в каталоге назначения.
–remove-source-files	Источник удаляет свои файлы после выполнения синхронизации.
–delete	Удалить файлы в папке назначения, если их больше нет в папке источнике (удаление старых файлов).
–delete-before	Удалить файлы в папке назначения до начала синхронизации.
–delete-during	Удалить файлы в папке назначения в момент синхронизации.
–delete-delay	Поиск файлов на удаление в момент синхронизации, а удаление после.
–delete-after	Удалить файлы в папке назначения после синхронизации.
–delete-excluded	Удалить исключенные из синхронизации файлы в каталоге назначения.
–ignore-errors	Удалять файлы даже при ошибках ввода/вывода.
–force	Принудительное удаление не пустых каталогов.
–max-delete=<число>	Не удалять больше заданного числа файлов.
–max-size=<размер>	Не передавать файлы с размером более заданного.
–min-size=<размер>	Не передавать файлы с размером менее заданного.
–partial	Оставлять файлы, которые переданы не до конца (процесс копирования завершился в процессе).
–partial-dir=<каталог>	Хранить частично переданные файлы в специальном каталоге.
–timeout=<секунды>	Установить время ожидания от системы ввода/вывода.
–contimeout=<секунды>	Установить время ожидания для подключения к демону rsync.
-I, –ignore-times	Все равно копировать файлы, если они имеют одинаковые разметы или время изменения.
–size-only	Не копировать только те файлы, которые имеют одинаковые размеры.
-T, –temp-dir=<каталог>	Все временные файлы размещать в определенном каталоге.
-z, –compress	Сжимать данные файла во время передачи
–compress-level=<число>	Устанавливает уровень сжатия от 0 до 9.
–skip-compress=<список>	Не выполнять компрессию для перечисленных файлов.
-C, –cvs-exclude	Исключить от копирования файлы, которые исключаются CVS (RCS/ SCCS/ CVS/ .svn/ CVS.adm RCSLOG cvslog.* tags TAGS .make.state .nse_depinfo *~ #* .#* ,* *.old *.bak *.BAK *.orig *.rej .del-* *.a *.o *.obj *.so *.Z *.elc *.ln core)
-f, –filter=<правило>	Добавить правило для фильтра.
–exclude=<выражение>	Исключить из синхронизации файлы, соответствующие выражению.
–exclude-from=<файл>	Исключить из синхронизации файлы, перечисленные в файле.
–include=<выражение>	Включить в синхронизацию файлы, соответствующие выражению.
–include-from=<файл>	Включить в синхронизацию файлы, перечисленные в файле.
–files-from=<файл>	Читать список имен исходных файлов из файла.
–address=	Привязать IP-адрес для исходящего сокета.
–port=<порт>	Использовать определенный сетевой порт.
–sockopts=OPTIONS	Использовать специальные опции для TCP.
–blocking-io	Использовать блокирующий ввод-вывод для удаленной оболочки
–stats	Вывод статистики по передаче данных.
-h, –human-readable	Вывод чисел в удобном для чтения формате.
–progress	Показывать строку прогресса для синхронизации.
-P	То же самое, что –partial и –progress.
-i, –itemize-changes	Выводить сводку изменений для всех обновлений
–log-file=<файл>	Вывод лога в специальный файл.
–password-file=<файл>	При аутентификации пароль можно хранить в специальном файле. Это необходимо для автоматизации выполнения команды без пароля.
–list-only	Показать список файлов, но не копировать их.
–bwlimit=<число>	Ограничить пропускную способность (КБит в секунду).
–protocol=<число>	Принудительно использовать более старую версию протокола.
–iconv=<кодировка>	Запрос кодировки преобразования имен файлов.
-4, –ipv4	Предпочтительно, использовать IPv4.
-6, –ipv6	Предпочтительно, использовать IPv6.
–version	Вывод версии rsync.
(-h) –help	Вывод справочной информации по использованию rsync.

* самый свежий список ключей rsync можно посмотреть командой man rsync.

protocol version mismatch — is your shell clean?

Situation

Full error message :
protocol version mismatch — is your shell clean?
(see the rsync man page for an explanation)
rsync error: protocol incompatibility (code 2) at compat.c(176) [sender=3.1.1]

Details

man rsync + searching for mismatch gives further information : while trying to rsync over SSH, it seems that the remote shell opening returns some unexpected data. To figure this out :

ssh bob@remoteHost /bin/true

In normal situations, this should return nothing. Otherwise, the error message you’ll see is the reason why rsync fails.
For instance, when it said This account is currently not available, it’s because Bob had his shell set to /usr/sbin/nologin in /etc/passwd.

Solution

Changing Bob’s shell to /bin/sh fixed the issue.

Запутался с установкой golang, что делать?

• 1 подписчик
• 13 окт.
• 140 просмотров

ответа
4

• Linux

Простой

Можно ли подключиться к outline server через клиент shadowsocks?

• 1 подписчик
• 11 часов назад
• 27 просмотров

ответов
0

• Linux

• +1 ещё

Простой

Error unmounting, target is busy?

• 1 подписчик
• час назад
• 23 просмотра

ответ
1

• Linux

• +1 ещё

Средний

Почему gnokii не отправляет вторую SMS?

• 1 подписчик
• 13 окт.
• 65 просмотров

ответов
0

• Linux

• +1 ещё

Простой

Rsync на Windows

Реализация rsync для Windows носит название cwRsync (не является аналогом программы — по сути, это утилита Rsync + библиотека Cygwin). Скачать ее можно на официальном сайте. Для загрузки доступны платная и бесплатная версии. Последняя не позволит поднять Rsync-сервер, получать поддержку, обновления безопасности и возможность работать в графическом интерфейсе.

Запуск в качестве сервера

Мы будем использовать бесплатную поставку для поднятия сервера. Переходим на страницу загрузки backuppc и дожидаемся скачивание архива. Создаем в корне системного диска папку, например, C:Rsyncd, распаковываем содержимое загруженного архива в созданную папку.

Находим в корне содержимого файл rsyncd.conf и открываем его в блокноте. Добавляем следующие строки:

[data1]     path = /cygdrive/d/backup
    read only = false
    transfer logging = yes
[data2]     path = /cygdrive/d/Папки пользователей
    read only = false
    transfer logging = yes
    strict modes = false
    auth users = home
    secrets file = /cygdrive/c/Rsyncd/rsyncd.secrets

* в данном примере мы создали группы настроек data1 для папки D:backup и data2 для D:Папки пользователей. Регистр важен! Для второй папке для синхронизации требуется аутентификация.
* синтаксис для настройки аналогичен описанному выше для Linux. Только пути пишутся, начиная с /cygdrive/<буква диска="">.

Регистрируем rsync в качестве службы — для этого открываем командную строку от администратора и выполняем команду:

c:rsyncdbincygrunsrv -I “RsyncServer” -p /cygdrive/c/rsyncd/bin/rsync.exe -a “–config=/cygdrive/c/rsyncd/rsyncd.conf –daemon –no-detach” -o -t auto -e “CYGWIN=nontsec binmode” -1 /cygdrive/c/rsyncd/rsyncd-stdin.log -2 /cygdrive/c/rsyncd/rsyncd-stderr.log -y tcpip -f “Rsync service”

* где c:rsyncd или /cygdrive/c/rsyncd — каталог, куда мы распаковали скачанный архив.

Теперь открываем службы Windows, и находим зарегистрированную службу RsyncServer. Кликаем по ней правой кнопкой и выбираем Запустить:

Пробуем выполнить локальную синхронизацию. В командной строке переходим в каталог установки rsync:

C:

cd c:Rsyncdbin

Выполняем команду:

rsync.exe -avv –progress 127.0.0.1::data1 /cygdrive/c/Temp

* данная команда синхронизирует содержимое модуля data1 (в нашей настройке это папка D:backup) в папку C:Temp (если ее нет, нужно создать перед выполнением команды).

Или в обратном направлении:

rsync.exe -avv –progress /cygdrive/c/Temp 127.0.0.1::data1

Запуск клиента

Процедура использования клиента cwRsync аналогична описанному выше для Linux. Скачиваем архив программы и распаковываем его. Запускаем командную строку и переходим в каталог bin (находится в папке, куда была распакована программа).

Запускаем синхронизацию:

rsync.exe -avv –progress admin@192.168.0.15::data1 /cygdrive/c/temp

* обратите внимание на путь назначения — чтобы обратиться к диску C мы написали /cygdrive/c. Итоговое назначение — C:temp.

Копирование с помощью SSH:

rsync.exe -avv -e “./ssh -p 22” –progress admin@192.168.0.15:/data/ /cygdrive/c/temp

* обратите внимание, что мы пишем не ssh, а ./ssh, иначе, если мы используем 64-х битную систему и бесплатный пакет cwRsync, система не найдет путь до ssh и выдаст ошибку Failed to exec ssh: No such file or directory.

Права на папки и файлы

Rsync в Windows не умеет копировать права для файлов и папок. В результате, мы получим либо копию с неправильными ACL-правами, либо они будут назначены неправильно (права будут выданы по хаотичному алгоритму). Чтобы решить данную проблему после клонирования, можно воспользоваться утилитой robocopy — она входит в состав Windows, начиная с 7-ки.

Команда, которая позволит выполнить исправление прав:

robocopy c:test d:backup /MIR /SEC /SECFIX

* в данном примере мы возьмем папку c:test в качестве источника и отзеркалируем его d:backup. Ранее скопированные данные не будут копироваться вновь, но будут исправлены права.

Примеры использования rsync

Простая команда для синхронизации двух каталогов:

rsync -a –delete-after user@192.168.0.15::data_source /data_destination

Команда для резервного копирования:

rsync -ab –delete-after user@192.168.0.15::data_source /data_destination

Выполнение синхронизации по SSH:

rsync -a –delete-after -e “ssh -p 22” user@192.168.0.15:/data_source /data_destination

* по SSH запросы идут не через rsync server. В данном примере подключение будет выполнено по 22 порту, под учетной записью user.

Копирование файлов на удаленную машину:

rsync -a –delete-after /data_destination user@192.168.0.15::data_source

Синхронизация в обе стороны (запускаем две команды по очереди):

rsync -a –delete-after user@192.168.0.15::data_source /data_destination

rsync -a –delete-after /data_destination user@192.168.0.15::data_source

Синхронизация файлов по маске:

rsync -a –include=’*.txt’ –exclude=’*’ user@192.168.0.15::data_source /data_destination

* в этом примере будут синхронизированы только файлы с расширением txt.

Исключить каталог:

rsync -a –exclude=’folder/*’ user@192.168.0.15::data_source /data_destination

skipping directory .

While experimenting / debugging rsync commands, you may end with very basic commands

• with / without the /trailing slash (doesn’t matter here)
• with no option

such as :
rsync /src/foo/dest
actually transferring nothing and ending on :
skipping directory .
This is because -r (either explicit or implied by -a) is missing and rsync has nothing to transfer.

Грохнули /boot как починить?

• 1 подписчик
• 13 окт.
• 131 просмотр

ответа
2

• Linux

• +1 ещё

Простой

Возможные проблемы

rsync: change_dir “/” failed: Permission denied

Причина: нет прав на синхронизируемые файлы.

Решение: задать правильного пользователя (uid) в настройках ресурса на стороне сервера.

Unexpected remote arg

The error has to do with how the nested double/single quotes are treated when the variables are expanded. Looks like rsync dislikes its arguments being quoted : rsync “–dry-run”

• Source :

  http://www.linuxquestions.org/questions/linux-server-73/rsync-with-irregular-ssh-remote-port-and-non-root-user-934062-print/

Как создать Swap на ubuntu20.04?

• 1 подписчик
• 14 окт.
• 101 просмотр

ответа
3

• Linux

• +1 ещё

Простой