ModularFed : la modularité des cadres d’apprentissage fédéré

Introduction

ModularFed est un cadre d’apprentissage fédéré [1] (AF) axé sur la recherche. Il fournit un ensemble d’outils évolutifs permettant l’intégration d’applications dans le domaine AF. Ce cadre s’attaque aux contraintes des approches actuelles en offrant un soutien en composants modulaires, ce qui simplifie le processus d’intégration et améliore la flexibilité et l’évolutivité des projets à venir. Le protocole d’architecture de ModularFed garantit le fonctionnement indépendant des composants individuels, offrant une plus grande flexibilité et une meilleure réutilisation. Cette modularité facilite non seulement l’intégration transparente de nouvelles technologies et méthodologies, mais réduit également le temps et les efforts nécessaires à la mise en œuvre.

En outre, ModularFed prend en charge un grand nombre d’applications, afin de s’adapter à différents scénarios AF et de relever les défis de recherche. Cette adaptabilité permet l’amélioration continue dans l’environnement AF. La capacité du cadre à s’intégrer de manière transparente à des technologies et ensembles de données renforce son utilité. Cette capacité fournit aux équipes de recherche et de développement un ensemble d’outils robustes et polyvalents pour faire avancer leurs projets AF. Dans l’ensemble, ModularFed offre une solution efficace pour surmonter les contraintes des cadres AF existants en matière d’adaptabilité et d’évolutivité.

Principales contributions

1. Architecture modulaire : ModularFed présente un protocole d’architecture AF modulaire, offrant l’individualisation et la flexibilité. Le cadre prend en charge l’indépendance des composants, facilitant l’intégration d’approches AF spécifiques aux composants et l’évolutivité des tâches.
2. Adaptabilité : ModularFed améliore l’adaptabilité en incorporant une architecture intuitive d’abonnement, qui permet des intégrations transparentes avec des tiers.
3. Centre de contrôle des données : le cadre intègre un centre de contrôle des données modulaire pour les simulations de données clientèle, capable de prendre en charge des ensembles de données externes et contextuels.
4. Expérimentation poussée : les capacités de ModularFed sont validées par des essais approfondis dans différents contextes et configurations, comparant ses performances à des cadres bien connus comme FedML et TensorFlow Federated.

Architecture-cadre

Le cadre agit comme un pont qui facilite l’intégration de l’AF pour les applications tout en soutenant des technologies bien connues pour atteindre ses objectifs. Trois composants clés (figure 1) distinguent notre architecture des autres et rendent le pont adaptable aux couches externes : la couche abstraite fédérée (FAL), les abonnés AF et le centre de contrôle des données.

1. Couche abstraite fédérée (FAL) : le cadre est fait d’une architecture en couches appelée « Federated Abstract Layer » (FAL) conçue pour résoudre les problèmes de modularité des cadres AF existants. FAL garantit la flexibilité et l’évolutivité des composants AF.
2. Abonnés AF : un modèle d’abonnement permet au cadre d’étendre les fonctionnalités vers des utilitaires comme la surveillance, la journalisation et l’analyse. Ce modèle permet de diffuser en direct l’état d’exécution des applications fédérées.
3. Centre de contrôle des données : composé de conteneurs, de distributeurs et de fournisseurs, le centre de contrôle des données normalise les stratégies de distribution des données et prend en charge la plupart des scénarios IID et non IID. En outre, ce composant facilite le travail impliquant des sources multiples.

Notre architecture intègre des outils intermédiaires dans le flux de travail AF à l’aide d’un modèle basé sur l’abonnement. Construit sur le modèle observable, le cadre prend en charge les mises à jour en temps réel et autres fonctions comme la journalisation, la mise en cache et le suivi des métriques, sans modifier le système de base. La figure 2 illustre la manière dont le cadre étend le flux de travail. Il intègre des abonnés avancés, comme les abonnés de journalisation et de mise en cache pour améliorer le suivi de l’exécution et la gestion des points de contrôle. De plus, des outils d’analyse surveillent l’évolution du modèle et la sélection de la clientèle. Cette conception facilite l’intégration et la collaboration, offrant aux chercheurs une grande flexibilité dans leurs méthodologies.

Validation expérimentale

Les performances et la flexibilité de ModularFed ont été validées par rapport à divers scénarios AF, comme les problèmes de distribution, la consommation du réseau et la sélection de la clientèle. Les expériences ont montré que le cadre gère efficacement les distributions de données et les comportements de la clientèle, moyennant des compromis de performance minimes par rapport aux approches de base. Le tableau 2 illustre l’évolution de la précision du modèle global en fonction de différents paramètres environnementaux, comme les époques et les distributions, que notre cadre peut générer avec un minimum d’effort.

Les figures 3 et 4 comparent notre approche à d’autres cadres AF. Nous faisons une comparaison avec FedML [2] et TFF [3], des cadres pertinents dans l’environnement de développement AF. Contrairement aux approches existantes qui sacrifient souvent les fonctionnalités au détriment de la performance, les figures démontrent que ModularFed atteint une performance supérieure. Les temps d’amorce sont comparables à ceux des cadres AF natifs, tout en prenant en charge un ensemble de fonctionnalités.

Conclusion

ModularFed fournit un cadre robuste pour l’apprentissage fédéré, tenant compte des contraintes des approches actuelles en offrant modularité, flexibilité et évolutivité. Le cadre prend en charge diverses questions liées à l’AF et évolue avec les nouvelles technologies, ce qui garantit sa pertinence dans l’apprentissage fédéré, un domaine en plein essor.

Références

[1] McMahan, H. B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2016). Communication-Efficient Learning of Deep Networks from Decentralized Data. ArXiv. /abs/1602.05629

[2] Chaoyang He, undefined., et al. "FedML: A Research Library and Benchmark for Federated Machine Learning," in CoRR, vol. abs/2007.13518, 2020.

[3] The TensorFlow Federated Authors, "TensorFlow Federated," Google, 2018. [En ligne]. URL : https://github.com/google-parf...

Complément d’information

Pour plus d’informations sur cette recherche, veuillez lire l’article suivant : Mohamad Arafeh, Hadi Otrok, Hakima Ould-Slimane, Azzam Mourad, Chamseddine Talhi, Ernesto Damiani, ModularFed: Leveraging modularity in federated learning frameworks, Internet of Things, Volume 22, 2023.