Avec regret, je cesse d'utiliser hubiC pour me tourner vers la solution Amazon Cloud Drive + rclone pour la mise en ligne et le cryptage. Je ferai un article sur rclone et ACD dès que possible. Voici le message que j'ai posté sur la mailing list de hubiC.
« Le 17 décembre 2016, j'ai commencé à tester Amazon Cloud Drive avec rclone. 1 minute (sérieusement) pour faire la config. + 2 minutes pour créer l'encrytion (que je n'avais jamais utilisée avec rclone).
J'ai réalisé le test sur ma bibliothèque photo Aperture, de 405Go, composées en dehors des fichiers RAW, de plusieurs dizaines de milliers de fichiers (propres à la structure d'une telle bibliothèque).
Les tous petits fichiers par milliers, c'est la bête noire de hubiC…
- Lors de mon test sur hubiC, il m'avait fallu 2,5 semaines (je suis très sérieux) pour réaliser cet upload.
- L'upload sur Amazon aura mis 21h et 8 min, le tout crypté. (dans les 10 premières heures, 360Go ont été transférés, ensuite, ça a été plus long).
- Moyenne annoncée par rclone de 56 Mbps, contre dans le cas présent (milliers de fichiers), ≈ 2Mbps pour hubiC.
- Dès que le transfert d'un "gros" fichier démarre, ça occupe directement toute ma bande passante montante, soit ≈24, 26 Mo/s…
- L'interface en ligne de Amazon marche… pire, elle se met à jour en temps réel au fur et à mesure des uploads…
- La suppression avec rclone de ce backup sur Amazon (pour tester), aura demandé 1s contre plus d'une semaine avec hubiC. Sur l'interface de ACD, le dossier a disparu immédiatement, mais le quota se met à jour petit à petit. Il aura fallu ≈ 6 min. pour qu'il soit totalement à jour.
- Bref…
C'est triste, j'ai supporté hubiC depuis le début, j'ai fait un long article sur comment l'utiliser avec un client FTP (≈1000 visites par mois), puis ensuite je suis passé à rclone. J'ai toujours été attaché au fait que le service soit français, sans tomber dans le chauvinisme, mais voilà, je trouvais ça bien. Maintenant, il faut regarder les choses en face… ;( »
Pourquoi stocker en ligne ?
Deux types de services sont à discerner : ceux reposant sur le principe de synchronisation et ceux proposant une solution de sauvegarde.Synchronisation
Ces services stockent en ligne les données que vous souhaitez, permettant ainsi d'y accéder depuis n'importe lequel de vos appareils (ordinateur de bureau, ordinateur portable, smartphone, tablette), et ce, de manière totalement synchronisée. C'est donc appréciable en déplacement, tant pour accéder à des données personnelles que professionnelles. Par ailleurs, en cas de perte de données, votre cloud vous permettra de tout récupérer. Certains services conservent chaque version modifiée de vos fichiers (un certain temps ou pour un nombre de versions donné), c'est le versionning, vous permettant même de restaurer des fichiers effacés. Ce concept de synchronisation en ligne est fantastique mais présente une limite dans son mode d'utilisation classique (tous acteurs confondus). En effet, les fichiers stockés sont des copies de vos fichiers locaux, c'est le principe de la synchronisation. Ainsi, si vous supprimez un contenu sur votre ordinateur de bureau, il sera « supprimé » sur le stockage en ligne et si vous voulez sauvegarder 5GB de données, il vous faudra aussi songer que 5GB seront aussi nécessaires sur votre ordinateur portable pour que ce même contenu se synchronise. Alors quand on parle de centaines de GB, la contrainte peut devenir réelle. Heureusement, pour contourner ce problème et donner ainsi plus de souplesse aux utilisateurs, tous les services proposent dans les préférences de leur logiciel, une option permettant de synchroniser ou non des dossiers en fonction de vos besoins. Mais ce mode de fonctionnement (backup) n'étant pas celui pour lequel les outils sont à la base développés, pour faire uniquement de la sauvegarde en ligne, la gymnastique à faire n'est pas des plus confortable. Par ailleurs, tout service à un coût. Chacun propose une quantité de stockage limitée gratuitement, mais comme certains utilisateurs y prennent vite goût, le besoin d'espace de stockage grandit et ils en arrivent donc à souscrire une offre payante. C'est le principe marketing même de ces services de —synchronisation— en ligne. On comprend alors qu'entre les contraintes pouvant exister en synchronisation et le besoin d'espace de stockage, faire de la « sauvegarde » en ligne devient problématique avec ce type d'offre. Il faut bien avoir à l'esprit que le backup pur n'est tout simplement pas la vocation de ces services.Sauvegarde (backup)
La sauvegarde en ligne vise plutôt à stocker une grande quantité de données, sans besoin de synchronisation. L'utilisateur va télécharger lui même ces données quand il en a besoin. Comme pour la synchronisation, le premier avantage est que vos sauvegardes sont physiquement stockées ailleurs que chez vous. Prenons l'exemple suivant : votre disque externe de sauvegarde est branché en continu sur votre machine et Time Machine (ou un autre service) réalise régulièrement des backups dessus. Sur le principe, c'est formidable, vous avez un miroir de vos données (en versionning) directement accessible. Si un disque dur de votre ordinateur lâche, vous pouvez récupérer vos données instantanément, elles sont là, chez vous. Cela vient de m'arriver il y a une semaine lorsque mon Seagate de 3TB est mort d'un seul coup, pouf, comme ça… (En même temps, si cette statistique avait existé avant mon achat…). Bref, mais imaginez un instant que votre installation prend la foudre, que votre bureau se casse la gueule, que vous soyez cambriolé (cela vient d'arriver à un ami), etc. Vous perdez « tout », car ce « tout » justement, était au même endroit, chez vous. Les risques évoqués restant rares, avoir une solution de sauvegarde chez soi est incontournable, le confort apporté indiscutable. Mais ce n'est pas suffisant. Une bonne solution, est de réaliser régulièrement une sauvegarde complète et de la laisser chez un parent ou un ami qui habite « ailleurs ». Mais ce n'est pas toujours très pratique et un jour, vos disques seront probablement pleins. Et puis leur durée de vie est limitée et il faudra alors investir de nouveau. Avec une solution de backup en ligne, elle même automatiquement redondante (et idéalement en plusieurs points géographiques), vous gagnez pas mal en souplesse.Qu'est-ce que hubiC ?
hubiC est un service de stockage en ligne, développé et supporté par la société OVH.com, basée en France. Pour faire simple, OVH, fort de sa réputation et de son expérience dans les domaines Internet, s'incrit avec hubiC en tant qu'acteur français sur le marché du stockage en ligne « utilisateur », largement démocratisé par Dropbox, Copy, Box, Amazon Cloud Drive, Google Drive, etc.Les + et - de l'offre
- Le prix au GB
- Le quota
- Backup fiable (mais non officiel, cf. reste de l'article pour tutoriel)
- Pas de taille maximum par fichier
- Données dupliquées au sein de 3 datacentres français distants
- WebApp rapide pour lister les fichiers
- Synchronisation non fiable
- WebApp non fiable et limitée
- App mobiles nécessitant de vastes améliorations
- Pas de streaming (indispensable pour les app mobiles)
- Pas de backup officiel
- Souplesse d'utilisation
hubiC en terme de prix
En février 2014 (il me semble), hubiC a frappé fort en proposant ses deux nouvelles offres à 1€/mois pour 100GB et 10€/mois pour 10TB. Aujourd'hui (septembre 2014), les tarifs des acteurs majeurs sont les suivants (sans rentrer dans le détail ni aborder les offres sur devis personnalisé etc.)Service | Stockage gratuit | Stockage max. | Prix stockage max. | Prix du GB sur offre max. |
---|---|---|---|---|
Dropbox | 2GB (jusque 32GB via parrainages) | 1TB | 9,99€/mois | 0,11988€/GB/an |
Copy | 15GB | 250GB | 9,99$/mois | 0,47952$/GB/an |
Box | 10GB | 100GB | 8€/mois | 0,96€/GB/an |
Amazon Cloud Drive | 5GB | 1TB | 33,33€/mois | 0,39996€/GB/an |
Google Drive | 15GB | 30TB | 299,99$/mois | 0,119996$/GB/an |
hubiC | 25GB | 10TB | 10€/mois | 0,012€/GB/an |
L'astuce commerciale d'hubiC :
Avec la concurrence et ses tarifs au GB qui font quand même réfléchir deux fois avant de souscrire une offre payante, on s'est habitué à bien cadrer nos besoins. Quelques GB d'un compte Dropbox ou Copy gonflé à coup de parrainages suffisent généralement. Avec hubiC par contre, le tarif au GB défie toute concurrence. C'est bien simple, je n'en connais pas d'équivalent. Nombreux se disent alors, et à juste titre, qu'utiliser hubiC pour en faire bien plus serait une chouette idée. On va alors commencer à mettre nos milliers de photos, les dizaines de vidéos HD des bambins, etc. À ce train, les 100GB de cette offre qui ne coûte que 1€/mois arrivent à vive allure ! Et voilà l'astuce marketing. Pour 101GB, il vous faudra l'offre 10TB, qui rapporte donc dix fois plus à OVH. Alors certes, pour ce montant, vous avez 100x plus de stockage en ligne, l'argument commercial est de poids, mais puisque le service fonctionne sur le principe de la synchronisation, combien d'entre-nous disposent de 10TB sur leur machine ? Une poignée insignifiante, et forcément, OVH le sait bien, c'est le jeu :) Le quota utilisateur de 10TB existe bien, mais il sera nécessairement sous-utilisé, laissant une vaste marge de manœuvre à OVH pour faire monter en puissance son service, le stockage total étant partagé.hubiC pour la synchro. ?
hubiC pour le backup ?
Critères
Voyant qu'au fil de mes recherches, il me faudrait toucher au Terminal au moins pour la mise en place d'une solution, je voulais quelque chose d'assez « abordable » pour moi. Par ailleurs, en terme d'utilisation au jour le jour, il était hors de question d'utiliser le Terminal pour lancer la moindre commande de backup. Il me fallait donc :- Une mise en œuvre à ma hauteur.
- Aucune utilisation en ligne de commandes.
- Une interface graphique et un confort d'utilisation. Idéalement, continuer à utiliser ForkLift, qui est au cœur de mon flux de travail quotidien.
- Une fiabilité nettement au dessus de celle constatée jusqu'alors (sinon, j'abandonnais à nouveau l'idée d'utiliser hubiC).
Solution retenue
Voici donc les trois éléments nécessaires :
Configuration
Quitter le client hubiC officiel
Si vous utilisez déjà le client officiel, commencez par quitter l'application. De cette façon, vous vous assurez que le client hubiC ne fera aucune action durant le test. Je dis « test » parce-qu'après tout, vous allez tester la solution que je propose avant de l'adopter. Rien n'est à désinstaller pour l'instant.Installer et configurer le module ssl pour Apache2
Avoir une connexion https est nécessaire pour l'authentification avec hubic2swiftgate. Il est donc nécessaire de configurer votre Apache si ce n'est pas fait (en lui rajoutant quelques plumes). Pour mon serveur c'était pile-poil, donc inutile d'écrire toute la procédure ici quand elle est parfaitement expliquée sur technique.arscenic.org. Sur votre machine locale si vous avez MAMP PRO, cette configuration sera encore plus facile.hubic2swiftgate
Idem, pas la peine de reprendre une documentation bien écrite. Tout commence ici. Notez que vous pouvez tout à fait faire tourner hubic2swiftgate et donc votre serveur https (cf. point précédent) sur une machine locale.ftp-cloudfs
de ce type
.
1. Installation de PIP
PIP est un outil d'installation et de gestion de packages Python. Il permet ici d'installer ftp-cloudfs de façon simple et rapide. Pour plus d'informations, consultez la documentationsudo easy_install pip
return ⏎
2. Installation de ftp-cloudfs
sudo pip install ftp-cloudfs
return ⏎
3. Configuration de ftp-cloudfs
Pour plus d'informations, consultez la documentationsudo nano /etc/ftpcloudfs.conf
return ⏎
Éditez la configuration comme suit :
[ftpcloudfs] split-large-files = 100 hide-part-dir = yes auth-url = https://yourServer/auth/v1.0/ bind-address = 127.0.0.1N'oubliez pas de modifier la ligne 4 (auth-url) en remplaçant yourServer par le nom de domaine ou l'IP de votre serveur. Faites ctrl+X puis Y et return ⏎ pour fermer et enregistrer la configuration.
4. Démarrage du serveur ftp-cloudfs
ftpcloudfs -f
return ⏎
Mettre à jour ftp-cloudfs
Je vous invite à suivre l'activité de ftp-cloudfs sur GitHub et à le mettre à jour si nécessaire. Pour ce faire :sudo pip install --upgrade ftp-cloudfs
return ⏎
J'ai déjà remonté un bug, corrigé dans la version 0.29, sur un mauvais encodage des caractères spéciaux dans le manifeste pour les fichiers segmentés.
Pour mettre à jour sur une branche specifique, procédez comme ceci (il s'agit d'un exemple, cette version est désormais intégrée dans la 0.29., par ailleurs, je décline toute responsabilité quant à vos tentatives d'installation de versions auxiliaires.) :
sudo pip install --upgrade https://github.com/cloudfs/ftp-cloudfs/archive/manifest-encoding.zip
return ⏎
À savoir
- ftp-cloudfs ne permet de réaliser que des connections FTP (non SFTP). Cela implique que votre mot de passe est envoyé non crypté quand vous vous connectez avec votre logiciel FTP. Gardez cela à l'esprit si vous ne faites pas tourner ftp-cloudfs localement mais sur une machine distante.
- De manière générales et même si les caractères sont encodés, restez vigilants quant à l'utilisation de caractères spéciaux pour nommer vos fichiers et dossiers. Si Mac OS X fait tout le boulot de manière transparente ou nous alerte, ce n'est pas forcément le cas avec des services tiers, qui plus est en fonction des technologies mises en place.
- Renommer un dossier plein ne fonctionnera pas. Réfléchissez deux fois à votre hierarchie de stockage !
- Déplacer un dossier plein ne fonctionnera pas. Réfléchissez trois fois à votre hierarchie de stockage ! Notez que dans les deux cas, ils s'agit d'une limitation de Swift, et que hubiC réalise une duplication des données pour ensuite supprimer les anciennes pour y parvenir. D'ou la lenteur observée.
- Le quota ne peut pas être connu. Allez sur votre interface d'administration en ligne pour le consulter.
ForkLift (comme client FTP)
Le serveur ftp-cloudfs tourne, cela veut dire qu'il s'est identifié avec succès à hubiC grâce à la passerelle mise en place avec hubic2swiftgate. Maintenant, il suffit de vous connecter à lui avec un client FTP. De manière totalement transparente, le serveur jouera son rôle de proxy pour Swift. À la clef, un résultat fiable, pas de ligne de commandes à saisir, vous faites tout en interface graphique, avec le logiciel FTP de votre choix et notamment ses fonctions qui font toute la différence pour vous. Je vous le disais, le mien, c'est ForkLift. En avant pour du backup sur hubiC !Paramétrage de la connexion FTP
- Serveur
- localhost si le serveur tourne sur votre machine, sinon, l'IP ou le nom pointant vers la machine distante (ou locale).
- Identifiant
- hubic. Pour l'instant, cette donnée est fixée par hubic2swiftgate.
- Mot de passe
- Votre mot de passe hubiC.
- Port
- 2021. Il s'agit du port par défaut de ftp-cloudfs. Vous pouvez le modifier en ajoutant un port personnalisé dans le fichier de configuration (port = 2021). À vous de veiller qu'il n'entre pas en conflit avec un port existant.
- Chemin d'accès distant
- default est le container créé par hubiC pour votre utilisateur. Si à chacune de vos connexions, vous souhaitez tomber dans un répertoire particulier, vous pouvez le renseigner ici. /default/leRepertoire/queVousVoulez/ouvrir
Connexion !
Voilà, c'est fini. Il ne reste plus qu'à lancer vos sauvegardes !Les atouts d'un bon client FTP
Vous en ferez l'expérience, il peut arriver que pendant un transfert, vous rencontriez des erreurs. Les raisons sont multiples, la connexion peut ne pas aboutir (tant du côté hubiC que du vôtre), votre connection Internet tombe, votre logiciel plante, etc. Au premier abord, c'est le genre de chose assez critique dont on aime pas faire l'expérience au beau milieu d'un transfert de plusieurs dizaines de milliers de fichiers. Comment savoir où l'erreur s'est produite ? Comment être certain du travail qui a été réalisé, de celui qui reste à faire et des échecs ? Si votre client est bon, un simple clic sur un bouton Sync suffira. Le logiciel analysera les dossiers et fichiers dans le sens désiré (de ma machine vers hubiC ou l'inverse) et listera un résumé des actions qui seront menées. S'il est encore meilleur, il vous permettra de prendre la main pour décider personnellement de ce que vous souhaitez ou non synchroniser. Ci-dessous, j'ai donc par exemple décidé que je ne voulais pas que le dossier « Time Lapse » soit synchronisé et donc supprimé du compte hubiC. Après, des petites fonctions comme les Synclets, les Droplets, les Disklets, la recherche (y compris distante), la navigation synchronisée entre le dossier local et distant, les Stacks, etc. peuvent vraiment changer votre expérience utilisateur.Encore plus loin avec Time Machine, hubiC et ForkLift
Time Machine est pour moi la solution de backup la plus simple et efficace mise à disposition sur Mac. Le fait que l'état du Mac soit mémorisé régulièrement permet de récupérer des versions anciennes ou effacées de documents. Mieux, si le disque de votre ordinateur lâche, c'est l'intégralité de votre système, utilisateurs, données, etc. que vous pouvez instantanément réinstaller sur votre nouveau disque. Mais comme je l'abordais en début d'article, quand votre disque Time Machine rendra l'âme, il vous faudra recommencer une sauvegarde complète de vos Mac au jour J du remplacement du disque, vous faisant alors perdre le bénéfice de la « remontée dans le temps ». Ce n'est pas tragique, mais ça pourrait servir. Du coup, j'ai réalisé avec succès l'upload de mon image disque (.sparsebundle) Time Machine complète (et cryptée) sur hubiC, me permettant ainsi d'avoir une copie de sauvegarde hors de chez moi. Pour m'assurer de la fiabilité de la procédure, j'ai simulé la panne de mon disque Time Machine local en effaçant tout simplement l'image disque qui y était stockée. Ensuite, après avoir désactivé l'exécution de Time Machine sur le Mac, j'ai téléchargé ma copie précédement stockée sur hubiC. J'ai réactivé Time Machine et mon Mac a pu sans problème continuer à faire des sauvegardes ! Grâce à ForkLift désormais, il ne me reste plus qu'à lancer de temps en temps une synchronisation de mon image disque locale, vers l'image disque distante sur hubiC. Le logiciel ne traitera que les différences.Raffinements
Lancer ftp-cloudfs à l'ouverture de session
Par défaut, au redémarrage de votre ordinateur, ftp-cloudfs ne se lancera pas. La méthode la plus simple pour l'exécuter sous Mac est de l'ajouter aux éléments d'ouverture de votre session utilisateur. Commencez par créer un document txt dont le contenu est :ftpcloudfs -fSauvegardez le fichier où cela vous arrange, avec comme nom et extension : monSuperNomDeFichier.command Ajoutez les droits d'execution au fichier :
chmod +x cheminVersLeFichier/monSuperNomDeFichier.command
return ⏎
Il ne vous reste plus qu'à glisser / déposer le fichier dans la liste des éléments ouverts automatiquement au lancement de votre session utilisateur. Notez que j'ai personnellement stocké ce fichier sur mon Dropbox, me permettant ainsi d'y avoir accès quel que soit l'ordinateur sur lequel je travaille.
Supprimer le client officiel hubiC
Si vous souhaitez définitivement effacer toute trace de l'application officielle, voici comment procéder. Commencez par supprimer l'application, elle se trouve ici :/Applications/hubiC.appEnsuite, supprimez votre dossier hubiC. Attention, s'il est plein, soyez bien sûr de ce que vous faites !
~/hubiCEnfin, supprimez le reste…
/Library/PrivilegedHelperTools/com.ovh.hubiCFinderPlugin.Installer /Library/LaunchDaemons/com.ovh.hubiCFinderPlugin.Installer.plist /Library/ScriptingAdditions/HubiCFinderPlugin.osax ~/Library/Logs/hubiC ~/Library/Preferences/com.ovh.hubicmac.plist ~/Library/Preferences/com.ovh.plist ~/Library/Preferences/com.ovh.plist.lockfile ~/Library/Caches/com.ovh.hubicmac
Ma configuration, mon choix
Synchronisation
- Dropbox
- Mon compte gratuit est à 18GB. Dropbox est un service incontournable totalement intégré dans mon flux de travail. Je stocke dessus toutes les ressources me permettant de travailler depuis n'importe quelle machine (polices de caractères, logotypes personnels et clients, maquettes de base, éléments de charte, scripts, etc. y compris certaines préférences de logiciels). Dropbox est avant tout utilisé pour des besoins professionnels.
- Copy
- De la même manière, Copy est un service fiable. Mon compte gratuit est à 187GB. Je l'utilise pour mon travail de développement d'applications avec TheKeptPromise
Backup
- Time Machine (sur Time Capsule)
- Mon Mac et celui de Marion font tous deux leurs sauvegardes Time Machine sur une Time Capsule de 3TB.
- Time Machine à distance
- Si vous avez une connaissance ou de la famille qui possèdent une Time Capsule, vous pouvez faire vos sauvegardes Time Machine dessus, à distance ! Il suffit pour cela de saisir votre identifiant Apple dans les paramètres de la Time Capsule distante. Le disque sera immédiatement rendu disponible à la sauvegarde sur votre Mac. Vous pouvez ainsi vous autoriser mutuellement pour avoir une copie de sauvegarde à distance.
- hubiC
- Depuis l'issue positive de mes tests avec hubiC, nos images disques cryptées Time Machine sont sauvegardées sur mon compte hubiC 10TB. Le service me sert aussi à sauvegarder d'autres données.
C'est à vous !
This symbolic coffee would be a true expression of your appreciation of this work.