La plupart des organisations ne manquent pas d'endroits où stocker leurs données. Elles manquent de moyens fiables pour les déplacer.
Un livrable de production doit atteindre un site distant. Une équipe média doit remettre des fichiers source à un partenaire. Une équipe analytique a besoin d'un jeu de données à jour dans une autre région cloud. Un processus de reprise doit copier une grande collection de fichiers avant la fin de sa fenêtre d'exploitation. Dans chaque cas, le transfert fait partie d'un processus métier, pas d'une simple tâche en ligne de commande.
Nous publions aujourd'hui Favonius 0.1, un moteur open source de transfert et de synchronisation de fichiers, sous licence Apache-2.0. Il déplace de grands fichiers et des arborescences sur des réseaux longs, variables ou sujets aux pertes.
Il s'appuie sur un protocole dédié au-dessus d'UDP et sur un contrôle de congestion adaptatif, afin de mieux utiliser la capacité disponible lorsque les transferts classiques deviennent imprévisibles. Découvrir Favonius.
Reprendre plutôt que recommencer. Les transferts interrompus comparent la source et la destination avec des arbres de Merkle BLAKE3, puis n'envoient que les blocs manquants ou modifiés. Un transfert interrompu de plusieurs gigaoctets ne doit pas automatiquement repartir de zéro.
Transférer des arborescences, puis les maintenir à jour. Favonius transfère des répertoires avec des règles d'inclusion et d'exclusion, et propose une synchronisation stateless à sens unique, miroir ou append-only. Cela convient aux livraisons répétables, aux tâches de réplication et au pré-positionnement des données.
Protéger les données en transit. Le chiffrement de bout en bout est optionnel et s'accompagne d'une rotation des clés ainsi que d'une authentification facultative du serveur par clé épinglée. Le démon destinataire peut aussi être limité à une racine de destination donnée, ce qui empêche l'émetteur de choisir un chemin arbitraire sur l'hôte.
S'intégrer à l'infrastructure existante. Favonius prend en charge IPv4 et IPv6, peut compresser les contenus appropriés par bloc et expose des métriques Prometheus sur l'activité, les octets transférés, les paquets et la latence.
Les outils de transfert classiques restent d'excellents choix sur des réseaux courts et stables. Mais la latence et les pertes intermittentes changent l'économie d'un transfert : la bande passante disponible peut être suffisante alors que l'application dépasse largement sa fenêtre d'exploitation.
Favonius régule en continu le trafic et propose des profils de contrôle de congestion adaptés à différentes conditions réseau. Le réglage par défaut fait un choix prudent pour les liaisons étendues, tandis que les opérateurs peuvent sélectionner un profil pour un environnement connu. L'objectif est simple : rendre la livraison plus prévisible sans exiger de réglage manuel pour chaque transfert.
Une fenêtre de transfert plus courte et plus fiable peut fournir des données plus fraîches à une opération régionale, réduire la capacité nocturne réservée à la réplication et limiter les interventions manuelles après une interruption de connexion. Elle permet aussi de traiter le mouvement des données comme un service observable, avec des limites explicites de sécurité et de destination, plutôt que comme une tâche opaque en arrière-plan.
Favonius est un moteur de transfert, pas une plateforme complète de partage de fichiers ou de gouvernance des données. Il convient aux équipes d'ingénierie et d'exploitation qui ont besoin d'un composant auto-hébergé et scriptable pour la livraison et la synchronisation de gros volumes. Il peut s'insérer derrière une couche existante d'identité, d'ordonnancement, de stockage ou de workflow.
Favonius est écrit en Rust et comprend un émetteur en ligne de commande ainsi qu'un démon de réception. Le dépôt inclut un démarrage local rapide, des conseils de déploiement, des notes de sécurité, la documentation du protocole et des outils de mesure.
Favonius 0.1 est une première version. Les organisations devraient l'évaluer dans un environnement contrôlé, consulter les recommandations de sécurité et prévoir des évolutions du protocole pendant la série 0.x. Si votre activité dépend du déplacement de données volumineuses ou fréquemment modifiées sur des réseaux réels, nous serions heureux de recevoir votre retour sur vtn.li/favonius.