![Réduire la latence en traitement des données massives de l’IdO](https://www.etsmtl.ca/uploads/iot-real-time-data-processing-0.jpg)
Pourquoi cette recherche?
La prolifération des appareils connectés à l’internet des objets (IdO) a produit ce qu’on appelle l’IdO à portée massive (MIoT). La gestion et le traitement en temps réel de l’énorme volume de données générées par ces appareils représentent un défi de taille. Si cette interconnexion offre des occasions d’innovation inégalées, elle pose également des défis dans le traitement des données, la sécurité et l’évolutivité. Nous proposons donc un cadre global combinant un modèle publication/abonnement de traitement des données avec la technologie de chaîne de blocs pour assurer l’efficacité et la sécurité.
Courte description de la méthodologie
Notre recherche tente de relever les défis cités en proposant un cadre architectural complet intégrant le traitement des données en temps réel avec des mesures de sécurité basées sur la chaîne de blocs. Comme le montre la Figure 1, notre système intègre Apache Kafka et Apache Druid pour le traitement en temps réel de grandes quantités de données et une latence minimale. Apache Kafka se base sur un mécanisme publication/abonnement particulièrement bien adapté aux environnements de l’IdO massif. Ce mécanisme permet de relayer les données générées par les appareils IdO vers un courtier dédié. Les données sont ensuite distribuées en temps réel aux applications abonnées. Le modèle publication/abonnement est avantageux, car il dissocie les producteurs de données (éditeurs) des consommateurs (abonnés), ce qui offre une meilleure flexibilité, évolutivité et réactivité dans la manipulation des données.
![Apache Kafka](https://www.etsmtl.ca/uploads/iot-real-time-processing-1fr.jpg)
Apache Kafka sert à gérer le flux de données entre capteurs IdO et courtiers, en vue d’une transmission de données efficace et fiable, même en présence de centaines de milliers d’appareils connectés. Apache Druid complète cette approche grâce à une base de données analytique robuste. Cette base excelle dans l’interrogation et l’analyse en temps réel, ce qui en fait un choix idéal quand la rapidité de l’analyse des données est essentielle.
Transmission des données, sécurité et latence améliorées
L’un des principaux défis de l’IdO massif est de garantir la disponibilité de la transmission des données, en particulier dans les environnements où la connectivité peut être instable. Pour ce faire, notre cadre se dote d’un mécanisme sûr avec ses deux radios logicielles (software-defined radio, SDR) de technologie LTE, comme le montre la Figure 2. Ces SDR agissent comme un réseau intégré pour la redondance et la transmission ininterrompue des données, même en cas de panne de réseau. Cette redondance est essentielle à l’intégrité et à la disponibilité des données dans les cas où une connectivité sans interruption est non négociable.
![Radios logicielles](https://www.etsmtl.ca/uploads/iot-real-time-processing-2fr.jpg)
La sécurité est un autre enjeu majeur de l’IdO massif, compte tenu de la nature sensible des données transmises et stockées. Pour plus de capacité de stockage des données, nous avons intégré Hyperledger Fabric à notre système, une technologie de chaîne de blocs connue pour ses caractéristiques de sécurité robustes, notamment l’immutabilité et l’intégrité des données. En tirant parti de la chaîne de blocs, nous assurons que les données stockées sont non seulement sécurisées, mais aussi inviolables, offrant un niveau élevé de confiance et de fiabilité. Nos résultats expérimentaux démontrent que cette approche fondée sur la chaîne de blocs peut traiter plus de 800 transactions par seconde dans un ensemble de données de 14 000 transactions, ce qui la rend à la fois sûre et efficace.
La latence est une mesure critique dans tout système de traitement de données en temps réel, en particulier pour l’IdO massif, où les retards peuvent avoir des conséquences considérables. La figure 3 montre que notre cadre atteint une latence inférieure à 25 millisecondes dans un réseau de 100 000 appareils, une performance qui rend notre système très réactif et adapté aux applications en temps réel. Cette faible latence est essentielle à des applications comme les véhicules autonomes, l’automatisation industrielle et les villes intelligentes, où le traitement rapide des données assure sécurité et efficacité.
![Résultats de latence en fonction du nombre de topics](https://www.etsmtl.ca/uploads/iot-real-time-processing-3fr.jpg)
Dans le contexte plus large de la recherche sur l’IdO, notre travail s’appuie sur des études antérieures relatives à l’amélioration du traitement des données, de la sécurité et de l’évolutivité dans les environnements IdO. Cependant, notre approche se distingue par l’intégration de ces éléments dans un cadre unifié qui répond aux défis uniques de l’IdO massif. L’IdO traditionnel est fondé sur de petites applications, aux flux de données limités. L’IdO massif nécessite des solutions capables de gérer la prolifération exponentielle des appareils et des volumes de données, tout en maintenant la sécurité et une faible latence.
Assurer l’essor de l’IdO massif grâce à des solutions intégrées
En conclusion, notre recherche présente une nouvelle approche pour gérer les complexités de l’IdO massif en combinant le traitement des données en temps réel et la sécurité fondée sur la chaîne de blocs. Notre modèle publication/abonnement, intégrant Apache Kafka, Apache Druid et Hyperledger Fabric, nous permet d’offrir un cadre évolutif, sécurisé et efficace, bien adapté aux exigences de l’écosystème IdO massif. Alors que le nombre d’appareils connectés continue de croître, disposer de solutions robustes ne sera que plus pressant et notre travail fournit une base solide aux développements futurs dans ce domaine en plein essor.
Complément d’information
Pour plus d’informations sur cette recherche, veuillez lire l’article suivant : Ataei, M., Eghmazi, A., Shakerian, A., Landry, R., Chevrette, G. (2023). Publish/Subscribe Method for Real-Time Data Processing in Massive IoT Leveraging Blockchain for Secured Storage. Sensors, 23(24), 9692. https://doi.org/10.3390/s23249...