Comment synchroniser un bucket MinIO avec un bucket Cloudflare R2 en utilisant Rclone

Introduction

Installation de Rclone

Sur Linux :

1. Ouvrez un terminal.
2. Exécutez la commande suivante pour télécharger et installer automatiquement la dernière version de Rclone :

   curl https://rclone.org/install.sh | sudo bash
   

Sur macOS (en utilisant Homebrew) :

1. Ouvrez un terminal.
2. Si vous n'avez pas Homebrew installé, installez-le d'abord en exécutant :

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

3. Installez Rclone avec Homebrew :

   brew install rclone
   

Sur Windows :

1. Visitez la page de téléchargement de Rclone : https://rclone.org/downloads/.
2. Téléchargez le fichier d'installation pour Windows (par exemple, rclone-current-windows-amd64.msi).
3. Double-cliquez sur le fichier téléchargé et suivez les instructions de l'assistant d'installation.

rclone --version

Prérequis

• Un serveur MinIO avec un bucket créé. Consultez la documentation de MinIO pour savoir comment configurer un serveur et créer des buckets : https://docs.min.io/.
• Un compte Cloudflare avec R2 activé et un bucket créé. Suivez le guide de Cloudflare pour activer R2 et créer des buckets : https://developers.cloudflare.com/r2/.
• Rclone installé sur votre machine locale.

Étape 1 : Configurer le remote MinIO

1. Exécutez rclone config pour ouvrir le menu de configuration interactive de Rclone.
2. Choisissez n pour créer un nouveau remote.
3. Donnez un nom à votre remote, par exemple "minio-andy".
4. Choisissez "s3" comme type de stockage.
5. Laissez le champ provider vide.
6. Entrez l'URL de votre serveur MinIO, votre access_key_id et votre secret_access_key. Ces informations peuvent être obtenues à partir de votre interface d'administration MinIO. Assurez-vous de garder ces informations d'identification en sécurité.
7. Laissez les autres options par défaut ou ajustez-les selon vos besoins.
8. Choisissez y pour confirmer la création du remote.

Étape 2 : Configurer le remote Cloudflare R2

1. Exécutez à nouveau rclone config.
2. Choisissez n pour créer un nouveau remote.
3. Donnez un nom à votre remote, par exemple "r2-andy".
4. Choisissez "s3" comme type de stockage.
5. Choisissez "Cloudflare" comme provider.
6. Entrez votre access_key_id R2, votre secret_access_key R2 et l'URL de votre bucket R2. Ces informations peuvent être obtenues à partir de votre compte Cloudflare R2. Assurez-vous de garder ces informations d'identification en sécurité.
7. Laissez les autres options par défaut ou ajustez-les selon vos besoins.
8. Choisissez y pour confirmer la création du remote.

Étape 3 : Synchroniser les buckets

1. Pour synchroniser votre bucket MinIO avec votre bucket R2, exécutez la commande suivante :

   rclone sync "minio-andy:nom-du-bucket-source" "r2-andy:nom-du-bucket-destination"
   

   Remplacez nom-du-bucket-source par le nom de votre bucket MinIO source et nom-du-bucket-destination par le nom de votre bucket R2 de destination.
2. Rclone commencera à synchroniser les fichiers de votre bucket MinIO vers votre bucket R2. Il affichera la progression et un résumé à la fin.

Étape 4 : Vérifier la synchronisation

1. Pour vérifier que la synchronisation a réussi, vous pouvez lister le contenu de votre bucket R2 :

   rclone ls "r2-andy:nom-du-bucket-destination"
   

   Remplacez nom-du-bucket-destination par le nom de votre bucket R2 de destination.
2. Vous devriez voir les fichiers qui ont été synchronisés depuis votre bucket MinIO.

Explication

• Facilité d'utilisation : Rclone offre une interface en ligne de commande simple et intuitive pour gérer vos fichiers sur différents services de stockage cloud.
• Efficacité : Rclone optimise les transferts de fichiers en ne transférant que les fichiers modifiés, ce qui permet de gagner du temps et de la bande passante.
• Compatibilité : Rclone prend en charge un large éventail de services de stockage cloud, ce qui vous permet de synchroniser vos fichiers entre différents fournisseurs.

Conclusion