Rclone mount - Монтирование сетевых хранилищ SFTP, WebDAV, S3 как локальной директории в Linux

В этой статье рассмотрим процесс монтирования удалённых сетевых хранилищ SFTP, WebDAV и S3 как обычной директории в файловой системе Linux.

Делать мы этом будем с помощью крутой утилиты rclone👩‍🚀👩‍🚀.

Коротко про SSH, WebDAV, S3 и rclone

SFTP (SSH File Transfer Protocol) - это сетевой протокол, предназначенный для безопасной передачи файлов по сети. SFTP работает поверх протокола SSH (Secure Shell).

WebDAV (Web-based Distributed Authoring and Versioning) - это набор расширений протокола HTTP, который позволяет управлять файлами, хранящимися на удаленных веб-серверах. По сути, он превращает веб-сервер в подобие сетевого диска.

S3 (Amazon Simple Storage Service) - это облачное объектное хранилище, предоставляемое AWS, а также многими другими провайдерами (S3-совместимые хранилища, например, MinIO).

rclone - мощная Open source утилита командной строки для синхронизации файлов и каталогов с/на множество различных облачных хранилищ, включая SFTP, WebDAV, S3, Google Drive, Dropbox и многие другие. Также rclone может монтировать облачные хранилища как локальные файловые системы (через подсистему FUSE), о чём собственно и пойдёт речь в этой статье😉.

Почему не SFTP/SSHFS и DAVFS?

Да, SFTP можно подключать напрямую или даже воспользоваться FUSE вариантом - SSHFS. Аналогичная ситуация и для WebDAV: существует DAVFS. Но особенность монтирования с rclone заключается в его унификации и дополнительных возможностях.

Например, и sshfs и rclone mount используют SFTP в качестве бэкенда. Разница в том, что rclone не просто проксирует запрос, а также способен:

• кэшировать файл;
• буферизовать;
• читать кусками;
• переоткрывать соединение.

Параметры можно гибко изменять под различные условия работы.

Как читать эту статью?

Разделы статьи для каждого типа монтирования - самодостаточны. Можете выбрать любой и выполнив установку rclone + все шаги нужного раздела, вы получите рабочую конфигурацию.

А теперь перейдем к практике👨‍💻.

Установка rclone

Утилита rclone доступна в стандартных репозиториях. Открываем терминал и выполняем:

sudo apt update && sudo apt install fuse rclone

Изначально rclone предназначен для прямого обмена файлами между разными хранилищами: move|copy|sync. Но в этой статье речь пойдет лишь о команде mount, которая позволяет монтировать разные типы хранилищ, как обычной директории.

Монтирование SFTP как директории

Первым делом необходимо добавить в конфиг rclone реквизиты доступа к удалённому хранилищу SFTP (можно указывать несколько инстансов):

mkdir -vp ~/.config/rclone

vim ~/.config/rclone/rclone.conf

Наполняем:

[sftp-storage-1]
type = sftp
host = sftp.r4ven.me
user = ivan
port = 22
#pass = ObfuscatedSecretPassword
key_file = /home/ivan/.ssh/id_ed25519
md5sum_command = md5sum
sha1sum_command = sha1sum

Описание параметров:

• [sftp-storage-1] - произвольное имя вашего удаленного хранилища;
• host - IP-адрес или доменное имя SFTP-сервера;
• user - имя пользователя для входа;
• port - порт SFTP (по умолчанию 22);
• #pass - обфусцированный пароль SSH пользователя - не рекомендую хранить его тут, лучше использовать для авторизации SSH ключ, но если сильно нужно, то обфусцируйте его командой: rclone obscure 'SecretPassword';
• key_file = SSH ключ, создать его можно командой ssh-keygen -t ed25519 -f /home/ivan/.ssh/id_ed25519;
• md5sum_command и sha1sum_command - команды для проверки целостности файлов на удаленном сервере;

rclone config

Ручное монтирование SFTP

Сперва создадим локальную директорию, куда будем монтировать удалённую:

mkdir -vp ~/Storage/sftp

Теперь для ручного монтирования удалённой директории в локальную выполните такую команду:

rclone mount --daemon sftp-storage-1:/home/ivan/data ~/Storage/sftp

Где:

• mount - команда монтирования;
• --daemon - запускает процесс rclone в фоновом режиме;
• sftp-storage-1:/home/ivan/data - удаленный источник (SFTP-хранилище sftp-storage-1, путь /home/ivan/data);
• ~/Storage/sftp - локальная точка монтирования.

Проверяем монтирование:

findmnt --real

df -h ~/Storage/sftp

ls -l ~/Storage/sftp

Для отмонтирования директории выполните команду fusermount с флагом -u (unmount):

fusermount -u ~/Storage/sftp

Вроде бы ничего особенного, но вся суть подобного монтирования в дополнительных параметрах, их может быть много. Например:

rclone mount --daemon sftp-storage-1:/home/ivan/data ~/Storage/sftp \
    --dir-cache-time 48h \
    --vfs-cache-mode full \
    --vfs-cache-max-size 10G \
    --vfs-cache-max-age 24h \
    --vfs-write-back 5s \
    --vfs-read-chunk-size 128M \
    --vfs-read-chunk-size-limit 1G \
    --buffer-size 128M \
    --transfers 8 \
    --checkers 8 \
    --umask 002 \
    --log-level INFO \
    --retries 10 \
    --low-level-retries 10 \
    --sftp-set-modtime=false \
    --sftp-disable-hashcheck

Описание параметров rclone смотрите под спойлером.

Для проверки скорости записи можно воспользоваться утилитой dd:

dd if=/dev/urandom of=./Storage/sftp/bigfile.bin bs=100M count=10

Ниже на скриншоте пример записи при обычном монтировании и с дополнительными параметрами:

📝 Примечание

Отдельно стоит отметить кейс, когда uid/gid вашего локального и удалённого пользователя отличаются, и запись в смонтированную директорию будет невозможна. При таком раскладе может помочь включение параметра user_allow_other в вашей системе FUSE и использование ключа --allow-other в rclone.

BASH

Свернуть Копировать

sudo vim /etc/fuse.conf

Нажмите, чтобы развернуть и увидеть больше

BASH

Свернуть Копировать

rclone mount --daemon --allow-other sftp-storage-1:/home/ivan/data ~/Storage/sftp

Нажмите, чтобы развернуть и увидеть больше

Автоматическое монтирование SFTP

Для автоматического запуска процесса монтирования воспользуемся системой инициализации Systemd.

Создаём файл юнита командой:

mkdir -vp ~/.config/systemd/user

vim  ~/.config/systemd/user/sftp-storage-1.service

Наполняем:

[Unit]
Description=Rclone SFTP mount
After=network-online.target
Wants=network-online.target

[Service]
Type=simple

ExecStartPre=/usr/bin/sleep 5

ExecStart=/usr/bin/rclone mount \
    sftp-storage-1:/home/ivan/data /home/ivan/Storage/sftp \
    --dir-cache-time 48h \
    --vfs-cache-mode full \
    --vfs-cache-max-size 10G \
    --vfs-cache-max-age 24h \
    --vfs-write-back 5s \
    --vfs-read-chunk-size 128M \
    --vfs-read-chunk-size-limit 1G \
    --buffer-size 128M \
    --transfers 8 \
    --checkers 8 \
    --umask 002 \
    --log-level INFO \
    --retries 10 \
    --low-level-retries 10 \
    --sftp-set-modtime=false \
    --sftp-disable-hashcheck

ExecStop=/usr/bin/fusermount -u -z /home/ivan/Storage/sftp
ExecStopPost=/usr/bin/sleep 2
TimeoutStopSec=20

Restart=always
RestartSec=60

KillMode=mixed

[Install]
WantedBy=default.target

Под спойлером описание параметров юнита.

Перечитываем конфигурацию Systemd:

systemctl --user daemon-reload

fusermount -u ~/Storage/sftp

Теперь активируем запуск/автозапуск юнита:

systemctl --user enable --now sftp-storage-1.service

systemctl --user status sftp-storage-1.service

Если всё ОК:

Проверяем точку монтирования:

findmnt --real

df -h ~/Storage/sftp

ls -l ~/Storage/sftp

Смотреть журнал сервиса так:

journalctl --user -u sftp-storage-1.service

Теперь сервис будет стартовать при входе пользователя в систему.

Монтирование WebDAV как директории

Тут также нужно добавить в конфиг rclone реквизиты доступа к удалённому хранилищу WebDAV (можно указывать несколько инстансов):

mkdir -vp ~/.config/rclone

vim ~/.config/rclone/rclone.conf

Наполняем:

[webdav-storage-1]
type = webdav
url = https://webdav.r4ven.me/
vendor = auto
user = ivan@r4ven.me
pass = ObfuscatedSecretPassword

rclone obscure 'SecretPassword'

Описание параметров:

• [webdav-storage-1] - произвольное имя удаленного ресурса;
• type = webdav - указывает rclone, что это конфигурация для хранилища типа WebDAV;
• url = https://webdav.r4ven.me/ - полный URL-адрес вашего WebDAV-сервера. Это может быть корневой URL или путь к конкретной папке, которую вы хотите монтировать;
• vendor = auto - позволяет rclone автоматически определять тип WebDAV-сервера (например, Nextcloud, Owncloud, SharePoint). Тут можно явно указать тип, если известно;
• user = ivan@r4ven.me - имя пользователя, используемое для аутентификации;
• pass = ObfuscatedSecretPassword - обфусцированный пароль.

Вывод команды указать в качестве pass в конфиге.

rclone config

Ручное монтирование WebDAV

Сперва создадим локальную директорию, куда будем монтировать удалённую:

mkdir -vp ~/Storage/webdav

Теперь для ручного монтирования удалённой директории в локальную выполните такую команду:

rclone mount --daemon webdav-storage-1:/data ~/Storage/webdav

Где:

• mount - команда монтирования;
• --daemon - запускает процесс rclone в фоновом режиме;
• webdav-storage-1:/data - удаленный источник (WebDAV-директория);
• ~/Storage/webdav - локальная точка монтирования.

Проверяем монтирование:

findmnt --real

df -h ~/Storage/webdav

ls -l ~/Storage/webdav

Для отмонтирования директории выполните команду fusermount с флагом -u (unmount):

fusermount -u ~/Storage/webdav

Тут также можно использовать множество параметров rclone. Пример:

rclone mount --daemon webdav-storage-1:/data ~/Storage/webdav \
    --dir-cache-time 48h \
    --vfs-cache-mode full \
    --vfs-cache-max-size 10G \
    --vfs-cache-max-age 24h \
    --vfs-write-back 5s \
    --vfs-read-chunk-size 128M \
    --vfs-read-chunk-size-limit 1G \
    --buffer-size 128M \
    --transfers 8 \
    --checkers 8 \
    --umask 002 \
    --log-level INFO \
    --retries 10 \
    --low-level-retries 10

Описание параметров rclone смотрите под спойлером.

Для проверки скорости записи можно воспользоваться утилитой dd:

dd if=/dev/urandom of=./Storage/webdav/bigfile.bin bs=10M count=10

Ниже на скриншоте пример записи при обычном монтировании и с дополнительными параметрами:

Автоматическое монтирование WebDAV

Для автозапуска процесса монтирования также используем Systemd.

Создаём файл юнита командой:

mkdir -vp ~/.config/systemd/user

vim  ~/.config/systemd/user/webdav-storage-1.service

Наполняем:

[Unit]
Description=Rclone WebDAV mount
After=network-online.target
Wants=network-online.target

[Service]
Type=simple

ExecStartPre=/usr/bin/sleep 5

ExecStart=/usr/bin/rclone mount \
    webdav-storage-1:/data /home/ivan/Storage/webdav \
    --dir-cache-time 48h \
    --vfs-cache-mode full \
    --vfs-cache-max-size 10G \
    --vfs-cache-max-age 24h \
    --vfs-write-back 5s \
    --vfs-read-chunk-size 128M \
    --vfs-read-chunk-size-limit 1G \
    --buffer-size 128M \
    --transfers 8 \
    --checkers 8 \
    --umask 002 \
    --log-level INFO \
    --retries 10 \
    --low-level-retries 10

ExecStop=/usr/bin/fusermount -u -z /home/ivan/Storage/webdav
ExecStopPost=/usr/bin/sleep 2
TimeoutStopSec=20

Restart=always
RestartSec=60

KillMode=mixed

[Install]
WantedBy=default.target

Под спойлером описание параметров юнита.

Перечитываем конфигурацию Systemd:

systemctl --user daemon-reload

fusermount -u ~/Storage/webdav

Теперь активируем запуск/автозапуск юнита:

systemctl --user enable --now webdav-storage-1.service

systemctl --user status webdav-storage-1.service

Если всё ОК:

Проверяем точку монтирования:

findmnt --real

df -h ~/Storage/webdav

ls -l ~/Storage/webdav

Смотреть журнал сервиса так:

journalctl --user -u webdav-storage-1.service

Теперь сервис будет стартовать при входе пользователя в систему.

Монтирование S3 как директории

Вновь начинаем с конфига rclone. Открываем файл и добавляем реквизиты для инстанса S3 (можно указывать несколько инстансов):

mkdir -vp ~/.config/rclone

vim ~/.config/rclone/rclone.conf

Наполняем:

[s3-storage-1]
type = s3
provider = Minio
endpoint: https://s3.r4ven.me:443
access_key_id: ivan
secret_access_key: SecretAccessKey
bucket: data

Описание параметров:

• [s3-storage-1] - произвольное имя удаленного ресурса;
• type = s3 - указывает rclone, что это конфигурация для хранилища типа S3;
• provider = Minio - название провайдера S3;
• endpoint: https://s3.r4ven.me:443 - URL-адрес вашего S3-инстанса;
• access_key_id: ivan - Access key для бакета;
• secret_access_key: SecretAccessKey - Secret key для доступа к бакету;
• bucket: data - соответственно, название существующего бакета.

rclone config

Ручное монтирование S3

Cоздаём локальную директорию, куда будем монтировать удалённую:

mkdir -vp ~/Storage/s3

Команда монтирования идентична предыдущим:

rclone mount --daemon s3-storage-1:/data ~/Storage/s3

Где:

• mount - команда монтирования;
• --daemon - запускает процесс rclone в фоновом режиме;
• s3-storage-1:/data - удаленный источник (S3-инстанс);
• ~/Storage/s3 - локальная точка монтирования.

Проверяем монтирование:

findmnt --real

df -h ~/Storage/s3

ls -l ~/Storage/s3

Для отмонтирования директории выполните команду fusermount с флагом -u (unmount):

fusermount -u ~/Storage/s3

Тут также доступно множество параметров rclone. Пример:

rclone mount --daemon s3-storage-1:/data ~/Storage/s3 \
    --dir-cache-time 48h \
    --vfs-cache-mode full \
    --vfs-cache-max-size 10G \
    --vfs-cache-max-age 24h \
    --vfs-write-back 5s \
    --vfs-read-chunk-size 128M \
    --vfs-read-chunk-size-limit 1G \
    --buffer-size 128M \
    --transfers 8 \
    --checkers 8 \
    --umask 002 \
    --log-level INFO \
    --retries 10 \
    --low-level-retries 10 \
    --poll-interval 10m \
    --s3-chunk-size 64M \
    --s3-upload-cutoff 64M

Описание параметров rclone смотрите под спойлером.

Для проверки скорости записи можно воспользоваться утилитой dd:

dd if=/dev/urandom of=./Storage/s3/bigfile.bin bs=10M count=10

Ниже на скриншоте пример записи при обычном монтировании и с дополнительными параметрами:

Автоматическое монтирование S3

Для автоматического запуска процесса монтирования вновь воспользуемся Systemd.

Создаём файл юнита:

mkdir -vp ~/.config/systemd/user

vim  ~/.config/systemd/user/s3-storage-1.service

Наполняем:

[Unit]
Description=Rclone S3 mount
After=network-online.target
Wants=network-online.target

[Service]
Type=simple

ExecStartPre=/usr/bin/sleep 5

ExecStart=/usr/bin/rclone mount \
    s3-storage-1:/data /home/ivan/Storage/s3 \
    --dir-cache-time 48h \
    --vfs-cache-mode full \
    --vfs-cache-max-size 10G \
    --vfs-cache-max-age 24h \
    --vfs-write-back 5s \
    --vfs-read-chunk-size 128M \
    --vfs-read-chunk-size-limit 1G \
    --buffer-size 128M \
    --transfers 8 \
    --checkers 8 \
    --umask 002 \
    --log-level INFO \
    --retries 10 \
    --low-level-retries 10 \
    --poll-interval 10m \
    --s3-chunk-size 64M \
    --s3-upload-cutoff 64M

ExecStop=/usr/bin/fusermount -u -z /home/ivan/Storage/s3
ExecStopPost=/usr/bin/sleep 2
TimeoutStopSec=20

Restart=always
RestartSec=60

KillMode=mixed

[Install]
WantedBy=default.target

Под спойлером описание параметров юнита.

Перечитываем конфигурацию Systemd:

systemctl --user daemon-reload

fusermount -u ~/Storage/s3

Теперь активируем запуск/автозапуск юнита:

systemctl --user enable --now s3-storage-1.service

systemctl --user status s3-storage-1.service

Если всё ОК:

Проверяем точку монтирования:

findmnt --real

df -h ~/Storage/s3

ls -l ~/Storage/s3

Смотреть журнал сервиса так:

journalctl --user -u s3-storage-1.service

Теперь сервис будет стартовать при входе пользователя в систему.

Послесловие

Вот таким образом можно удобно монтировать и использовать удалённые хранилища в качестве локальной директории📁.

Для себя rclone я открыл относительно недавно и был приятно удивлён его функционалом. Буду и дальше изучать этот полезный инструмент🔧.

На этом сегодня всё. Спасибо, что читаете мой блог📝. Успехов!

Используемые материалы

• Официальный сайт rclone
• Основные параметры rclone
• Специфичные параметры для режима mount
• Репозиторий rclone на GitHub
• Про модуль ядра FUSE
• Про протокол SFTP
• Про протокол WebDAV
• Про протокол S3
• SSH — Безопасное подключение к удалённым хостам: введение

👨‍💻Ну и…

Не забывайте про нашу телегу📱и чат 💬 Всех благ✌️

That should be it. If not, check the logs 🙂