Le projet ARP redémarrera le lundi 4 novembre, après la pause technique entamée en décembre 2022.
Contexte
Le projet Africa Rainfall Project (ARP) vise à simuler les tempêtes de pluie en Afrique subsaharienne afin d'améliorer les prévisions météorologiques régionales. L'objectif est de réaliser une simulation météorologique à haute résolution (1 km) pour l'ensemble de la région sur une période d'un an. La fourniture de prévisions météorologiques précises est cruciale pour l'autosuffisance de la communauté agricole locale. En comparant les résultats obtenus par le calcul des données pluviométriques provenant de diverses sources à l'aide du World Community Grid, les scientifiques peuvent créer des prévisions de plus en plus précises, améliorer les simulations futures et, par conséquent, les prévisions météorologiques.
En décembre 2022, le projet a été mis en pause technique en raison des limites de capacité de son système de stockage, hébergé au sein de l'installation nationale de calcul de haute performance aux Pays-Bas. Pour en savoir plus sur les détails de cette limitation de stockage et sur les mesures détaillées nécessaires pour relancer le projet, veuillez consulter notre précédente mise à jour d'avril.
Mise à jour du redémarrage de l'ARP
Auparavant, l'équipe ARP hébergeait sur ses serveurs à TU Delft tous les scripts, données et applications compilées nécessaires à la préparation des entrées pour les nouvelles unités de travail. L'équipe ARP mettait ces nouvelles données à notre disposition pour téléchargement, afin que nous puissions préparer la prochaine génération d'unités de travail et les indexer dans BOINC. Les résultats des unités de travail achevées qui nous ont été envoyés par des volontaires, puis par nous à l'Université de Delft, étaient nécessaires mais pas suffisants pour préparer la prochaine génération d'unités de travail. Une série d'étapes de prétraitement faisant référence aux données météorologiques originales et aux données de température de surface doit être exécutée, et c'est ce pipeline qui est maintenant hébergé sur les serveurs du WCG afin de redémarrer ARP1 après que l'équipe ARP a aimablement fourni tout le code de script et les données, ainsi qu'une documentation utile. En conséquence, le WCG est maintenant en meilleure position pour travailler avec les équipes scientifiques de modélisation météorologique à l'avenir. Nous avons également discuté d'une éventuelle extension à une version GPU du logiciel WRF avec notre expert scientifique principal, Lloyd A Treinish.
Chaque sous-problème du projet ARP1 envoyé aux volontaires en tant qu'unité de travail est différencié des autres sous-problèmes par l'emplacement et le temps. Chaque unité de travail simule le temps dans une sous-région appelée domaine, et il y a 35 609 domaines qui se chevauchent, totalisant la région subsaharienne pour laquelle nous simulons le temps avec l'application Weather Research Forecasting (WRF) du NCAR. Chacun de ces domaines, afin d'être complété en un temps raisonnable sur les appareils des volontaires, simule le temps en « générations » qui sont simplement des incréments de 48h, étiquetés de 000 à 183, qui totalisent une année de simulation météorologique pour la région.
Étant donné que la sortie de la génération précédente est utilisée comme entrée pour la génération suivante, la frontière doit finalement se synchroniser dans tous les domaines pour que le calcul global progresse. Certains domaines peuvent être à la traîne, et certains groupes de domaines suffisamment éloignés les uns des autres peuvent générer certaines des entrées des générations suivantes sans attendre que leurs voisins lointains les rattrapent. Dans le passé, nous avons perdu la sagesse d'une génération précédente, mais il est possible de redémarrer la simulation à partir des conditions initiales ou d'un point de contrôle et nous attribuerions généralement une priorité plus élevée à ces unités de travail dans BOINC jusqu'à ce qu'elles aient rattrapé leur retard.
Figure 1. Progrès de la simulation des prévisions météorologiques pour chaque sous-région de l'Afrique subsaharienne. La date de début de la simulation d'un an est le 2018-07-01 et se terminera lorsque les données auront été calculées pour le 2019-06-30.
Nous sommes maintenant en mesure d'utiliser les résultats que nous avons accumulés pendant la transition du stockage à l'Université de Delft et de recommencer à générer les entrées de la prochaine génération d'unités de travail ARP1. Dans la plupart des cas, nous pourrons reprendre là où nous nous étions arrêtés à la génération précédente (dont la majeure partie se situe entre 130 et 140) et, au fil du temps, grâce à l'automatisation complète des scripts, nous pourrons préparer un flux régulier d'unités de travail ARP1.
Merci à l'équipe ARP pour son partenariat continu avec le WCG. Merci à tous les volontaires qui ont aidé à traiter la première phase du projet, et merci d'avance à tous ceux qui nous aideront à mener à bien le projet ARP.
L'équipe WCG