Un réseau neuronal bayésien pour prédire la supraconductivité

Introduction

Ces dernières années, de nombreuses recherches ont porté sur des approches empiriques d’apprentissage machine (AM) afin de tirer des informations utiles sur les relations structure-propriété des matériaux supraconducteurs. Ce genre de recherche, toutefois, ne peut se fonder uniquement sur un AM de type boîte noire puisqu’on ne peut l’interpréter pleinement. Il peut être contre-intuitif de comprendre comment le modèle peut donner une réponse valide à un ensemble de données d’entrée lors d’analyses de caractérisation de supraconductivité, par exemple la détermination de la température critique. Cette étude décrit et examine une autre approche pour prédire la température de transition supraconductrice Tc, à partir de la base de données SuperCon de l’Institut national des sciences des matériaux du Japon. Les auteurs proposent une méthode d’AM générative appelée réseau neuronal bayésien variationnel, basée sur des éléments et formules chimiques de superconducteurs pour prédire la Tc. Mots clés : Température critique de transition, apprentissage machine (AM), réseau neuronal bayésien, inférence variationnelle, algorithme d’optimisation stochastique, supraconducteur haute température (SHT).

Réseau neuronal bayésien à inférence variationnelle

La prédiction par modèle génératif bayésien est avantageuse pour deux raisons principales : i) l’incertitude est décrite intrinsèquement, ce qui est utile pour l’analyse et la prédiction, ii) le suraprentissage est évité par la pénalisation naturelle de modèles trop complexes. Cet article décrit donc l’élaboration d’une nouvelle technique d’AM pour prédire la température critique d’un supraconducteur à l’aide de réseaux neuronaux bayésiens variationnels (RNBV). Comme le montre la figure 1, le modèle prédictif est un exemple de méthode d’inférence bayésienne. La différence entre la réponse attendue et la vraisemblance d’un pic de fonction (c.-à-d. la réalité) est l’erreur de prédiction. La variance de la prédiction est l’élément clé pour contrôler l’incertitude du modèle, et la variance de la fonction de vraisemblance représente le bruit dans le modèle.

Fig. 1. Méthode d’inférence bayésienne : distribution a priori, distribution a posteriori et fonction de vraisemblance (Hideyoshi Yanagisawa et al, 2019).

Techniquement, un modèle bayésien de régression linéaire sert à approximer la fonction de génération. La fonction coût est calculée, et l’optimisation par la descente du gradient est utilisée pour trouver la meilleure matrice de pondération qui minimise la fonction coût. Ensuite, un modèle probabiliste basé sur ladite matrice et des hypothèses de données probantes est utilisé afin de prédire la sortie, pour une nouvelle entrée donnée. La résolution du problème consiste à trouver la meilleure hypothèse parmi une panoplie d’hypothèses; elle est effectuée à l’aide d’une fonction de vraisemblance, qui évalue la probabilité qu’une hypothèse soit vraie. La divergence de Kullback-Liebler (KL) sert à trouver une inférence postérieure approximative. Un nouveau terme, la limite inférieure probante, définie par la différence entre la vraisemblance et le résultat de la divergence KL dérivée du modèle d’inférence, est alors optimisé. Deux mesures d’erreur évaluent le modèle prédictif, à savoir l’erreur quadratique moyenne (EQM) et la valeur de R au carré (R2).

Modèle prédictif de température critique

Nous pouvons sauter les fondements mathématiques du modèle RNBV et l’explication d’un modèle d’inférence, mais, selon les explications de la section précédente, la figure 2 présente une méthode conceptuelle de prédiction de la Tc à l’aide du modèle RNBV et de l’évaluation des prédictions. Xi représente chaque matériau supraconducteur, de même que leur formule et tous leurs éléments chimiques, et yi est la Tc cible que le modèle tente de prédire. Par conséquent, le RNBV apprendra et approximera la distribution du bruit λ et les coefficients de pondération wi pour chaque matériau supraconducteur, respectivement.

Ce travail révèle donc une amélioration concernant l’interprétabilité de la relation structure-propriété des supraconducteurs. À cette fin, les auteurs ont tenté d’approximer la distribution dans l’espace paramétrique latent à l’aide de l’inférence variationnelle, et d’évaluer la performance prédictive du modèle. Ils ont employé un algorithme d’optimisation stochastique appelé méthode de Monte Carlo. L’avantage de ces réseaux de neurones génératifs est de pouvoir directement comparer les modèles aux données de l’entraînement sans ensemble de validation. Le surapprentissage (naturel dans les applications d’AM) est évitable, car le modèle pénalise intrinsèquement les paramètres. Ces avantages permettent d’éviter les limites d’autres modèles d’apprentissage machine, comme les forêts aléatoires, les MVS et autres, dans le choix des paramètres/noyaux, de mémoire requise et de ressources informatiques.

Fig. 2. Modèle graphique probabiliste du modèle RNBV pour prédire la Tc.

Comparaison entre les performances du RNBV et d’autres techniques

La régression bayésienne présentée ici peut également servir à prédire directement la température critique d’un supraconducteur, comme le montre le tableau I. Nos scores de confiance R2 présentent une forte concordance globale avec les prédictions précédentes (R2 = 0.94). En outre, une amélioration significative a été atteinte dans l’EQM à 3,83 K. Les résultats obtenus illustrent de façon frappante la performance du RNBV par rapport à d’autres techniques.

Tableau I. Comparaison des résultats numériques

Défis

Nos résultats sont encourageants, mais nos expériences doivent être reproduites afin de les valider. Dans un premier temps, une prochaine étape importante pour les études futures est d’appliquer le modèle prédictif RNBV pré-entrainé pour valider ses performances sur différents ensembles de données de supraconducteurs. L’une des options possibles est de personnaliser le paradigme de « transfert de connaissances » pour tirer parti des hyper-paramètres optimisés du RNBV. Deuxièmement, les futurs travaux devraient porter sur l’étude de composés pouvant présenter les propriétés de supraconducteurs. Une rétroaction préliminaire pour valider la précision et l’efficacité des composés prometteurs serait souhaitable avant de mener des expériences coûteuses et ardues en pratique réelle.

Conclusion

La science des données des matériaux, en particulier l’étude des supraconducteurs, en est aux premiers stades de l’adoption de l’AM. Il existe un nombre croissant d’applications à usage unique, mais des modèles plus intelligibles restent encore à voir. Nous avons élaboré ici une nouvelle approche probabiliste à l’aide d’un réseau neuronal bayésien variationnel pour estimer la valeur Tc des supraconducteurs haute température.

Nos résultats sont généralement en accord avec les études existantes portant sur les modèles prédictifs de Tc. Ces résultats préliminaires démontrent la faisabilité d’utiliser un réseau génératif de neurones fournissant des données probantes utiles pour comprendre la physique sous-jacente de la supraconductivité. Cette découverte est prometteuse et devrait être étudiée avec d’autres modèles prédictifs avancés pour aboutir à la découverte de nouveaux supraconducteurs.

Informations supplémentaires

Pour plus d’informations sur cette recherche, lire l’article suivant :

Le, T. D., Noumeir, R., Quach, H. L., Kim, J. H., Kim, J. H., & Kim, H. M. « Critical temperature prediction for a superconductor: A variational Bayesian neural network approach« . 2020 IEEE Transactions on Applied Superconductivity, 30(4), 1-5.