Загрузка файлов с помощью Rclone

С помощью утилиты командной строки Rclone вы можете управлять контейнерами облачного хранилища Universal CDN Storage облачного хранилища. Rclone можно использовать для загрузки и выгрузки файлов в контейнеры, для синхронизации.


Для настройки доступа к хранилищу через Rclone выполните следующие действия:


1. Установите Rclone по инструкции из https://rclone.org/install/


2. Выполните в терминале следующую команду:

rclone config

$ rclone config
No remotes found - make a new one
n) New remote
s) Set configuration password
q) Quit config
n/s/q> 


3. Введите n и нажмите Enter, чтобы добавить хранилище.


4. Выберите имя для хранилища. Для целей этого руководства мы используем «new_remote» в качестве имени для хранилища.

name> new_remote


5. Тип хранилища для настройки.

Type of storage to configure.
Enter a string value. Press Enter for the default ("").
Choose a number from below, or type in your own value

Выберите следующий вариант (28):

28 / OpenStack Swift (Rackspace Cloud Files, Memset Memstore, OVH)
   \ "swift"


6. На следующем шаге введите 1 и нажмите Enter.

Get swift credentials from environment variables in standard OpenStack form.
Enter a boolean value (true or false). Press Enter for the default ("false").
Choose a number from below, or type in your own value
 1 / Enter swift credentials in the next step
   \ "false"

7. Имя пользователя для входа (OS_USERNAME). Введите свое имя пользователя, которое является первой частью имени пользователя FTP (например, 1011131).

User name to log in (OS_USERNAME).
Enter a string value. Press Enter for the default ("").
user> 1011131


8. Ключ API или пароль (OS_PASSWORD). Введите пароль FTP для вашего хранилища CDN.

API key or password (OS_PASSWORD).
Enter a string value. Press Enter for the default ("").
key> PRwvGMGbnKfabFto


9. URL аутентификации для сервера (OS_AUTH_URL). Введите URL аутентификации:

https://auth.files.nl01.cloud.servers.com:5000/v3 – if your storage is located in Europe.

https://auth.files.us01.cloud.servers.com:5000/v3 – if your storage is located in North America.

auth> https://auth.files.us01.cloud.servers.com:5000/v3


10. Идентификатор пользователя для входа. Оставьте это поле пустым и нажмите Enter, чтобы установить значение по умолчанию.

11. Домен пользователя – введите «default» явно в качестве имени домена пользователя и нажмите Enter.

domain = default


12. Имя тенанта. Введите имя тенанта, которое является второй частью имени пользователя FTP. Например, если ваше имя пользователя FTP – 1012231.1011131, часть после точки – это ваше имя тенанта – 1011131.

Enter a string value. Press Enter for the default ("").
tenant> 1011131


13. Идентификатор тенанта. Оставьте это поле пустым и нажмите Enter, чтобы установить значение по умолчанию.


14. Домен тенанта – введите «default» явно в качестве имени тенанта и нажмите Enter.

tenant_domain = default


15. Название региона (OS_REGION_NAME). Оставьте это поле пустым и нажмите Enter, чтобы установить значение по умолчанию.


16. URL-адрес хранилища (OS_STORAGE_URL). Оставьте это поле пустым и нажмите Enter, чтобы установить значение по умолчанию.

17. Токен аутентификации для альтернативной аутентификации (OS_AUTH_TOKEN). Оставьте это поле пустым и нажмите Enter, чтобы установить значение по умолчанию.


18. Идентификатор учетных данных приложения (OS_APPLICATION_CREDENTIAL_ID). Оставьте это поле пустым и нажмите Enter, чтобы установить значение по умолчанию.

19. Учетное имя приложения (OS_APPLICATION_CREDENTIAL_NAME). Оставьте это поле пустым и нажмите Enter, чтобы установить значение по умолчанию.

20. Секрет учетных данных приложения (OS_APPLICATION_CREDENTIAL_SECRET). Оставьте это поле пустым и нажмите Enter, чтобы установить значение по умолчанию.

21. AuthVersion (ST_AUTH_VERSION). Оставьте это поле пустым и нажмите Enter, чтобы установить значение по умолчанию.

22. Тип эндпоинта для выбора из каталога услуг (OS_ENDPOINT_TYPE). Выберите вариант 1 и нажмите Enter.

endpoint_type> 1

23. Политика хранения, используемая при создании нового контейнера. Выберите вариант 1 и нажмите Enter.

storage_policy> 1

24. Редактировать расширенную конфигурацию? Введите n в качестве “Нет” и нажмите Enter.

n) No (default)

25. Наконец, вы увидите конфигурацию созданного хранилища. Введите y в качестве «Да» и нажмите Enter.

y) Yes this is OK (default)


Итоговая конфигурация rclone должна быть похожа на следующую:

[new_remote]
type = swift
env_auth = false
user = 1011131
key = KGwvJMGjmyqabFau
auth = https://auth.files.us01.cloud.servers.com:5000/v3
tenant = 1011131
endpoint_type = public
domain = default
tenant_domain = default

ВНИМАНИЕ! Обратите внимание, что контейнеры хранения должны создаваться только из панели управления UCDN. Контейнеры хранения, созданные не из gанели управления, будут отклонены системой UCDN.


Ниже даны несколько примеров того, как копировать или синхронизировать файлы с вашего локального компьютера в удаленный контейнер или наоборот, или из одного контейнера в другой.


Чтобы скопировать файлы из одного контейнера в другой, используйте следующую команду:


rclone copy source:sourcepath dest:destpath

$ rclone copy 'new_remote:test1' other_remote:test2

Где:

new_remote – имя облачного хранилища, которое вы задали при его настройке (name> remote);

other_remote – имя другой облачного хранилища, которое вы задали при его настройке (name> remote);

test1 име ваших контейнеров.

test2 – име ваших контейнеров.


Чтобы скопировать файлы из контейнера в локальный каталог, используйте следующую команду:


rclone copy source:sourcepath dest:destpath​

$ rclone copy 'new_remote:test1' /path/to/your/directory​

Где:

new_remote is your remote name (name> new_remote)​

test1 ​ is the name of your container.


Чтобы скопировать файлы из локального каталога в контейнер, используйте следующую команду:


rclone copy source:local dest:destpath​

$ rclone copy 'path/to/your/directory' new_remote:test1​​​

Где:

new_remote имя облачного хранилища, которое вы задали при его настройке (name> remote);

test1 – имя вашего контейнеров.


Чтобы синхронизировать файлы между контейнерами, используйте следующую команду:


rclone sync source:sourcepath dest:destpath​

$ rclone sync 'new_remote:test1' new_remote:test2

Где:

new_remote – имя облачного хранилища, которое вы задали при его настройке (name> remote);

test1 and test2 – имена ваших контейнеров.


Чтобы синхронизировать файлы из локального каталога в контейнер, используйте следующую команду:


rclone sync source:sourcepath dest:destpath​

$ rclone sync 'new_remote:test1' /path/to/your/directory​

Где:

new_remote – имя облачного хранилища, которое вы задали при его настройке (name> remote);

test1 – имя вашего контейнеров.


To copy the files from one storage container to your local machine, use the following command:


rclone sync source:sourcepath dest:destpath​

$ rclone sync 'path/to/your/directory' new_remote:test1​​​

Где:

new_remote – имя облачного хранилища, которое вы задали при его настройке (name> remote);

test1 – имя вашего контейнеров.


Инструкция основана на rclone v1.55.1.Для получения дополнительной информации посетите rclone.org.



Загрузка файлов по FTP

Загрузка с использованием Python-Swiftclient

Загрузка больших файлов с помощью Python-Swiftclient

Загрузка файлов с помощью OpenStack Swift API