Une brève mise à jour de l'équipe ARP, comprenant des détails sur les changements apportés à leur système de stockage.
Projet : Africa Rainfall Project
Contexte
Le projet Africa Rainfall vise à effectuer des simulations informatiques de tempêtes de pluie en Afrique subsaharienne afin d'améliorer les prévisions météorologiques pour la région. Il est essentiel pour l'agriculture et l'autosuffisance de fournir des données météorologiques précises à la communauté agricole locale. En comparant les résultats obtenus par le calcul des données pluviométriques provenant de diverses sources à l'aide du World Community Grid, les scientifiques peuvent créer des prévisions de plus en plus précises et améliorer les simulations futures et, par conséquent, les prévisions météorologiques. Pour en savoir plus sur les détails spécifiques du projet, consultez notre mise à jour de l'ARP de mars 2022.
Depuis décembre 2022, l'équipe ARP a interrompu la publication de nouvelles unités de travail, jusqu'à ce qu'elle ait résolu les limites de capacité de son système de stockage. Pour en savoir plus sur cette pause, consultez notre mise à jour du forum sur l'état des unités de travail.
Les 100 derniers jours de l'African Rainfall Project
Nous avons interrogé l'équipe de l'ARP sur les derniers développements et voici ce qu'elle a partagé avec nous :
"L'African Rainfall Project a connu une période très calme, du moins sur le plan opérationnel. En coulisses, les changements nécessaires ont été apportés pour que le projet puisse redémarrer. Dans les articles précédents, nous avons beaucoup parlé des volumes de données impliqués, qui sont en effet impressionnants. Il s'agit toutefois d'un problème majeur en termes de stockage et de déplacement de ces données d'un endroit à l'autre. Dans le cas de l'ARP, les résultats des volontaires sont envoyés par le WCG aux ordinateurs de SURF, l'organisation collaborative pour les technologies de l'information dans l'éducation et la recherche aux Pays-Bas. Les premiers 200TB ont pu être stockés sur disque, ce qui est relativement facile d'accès. Il s'agit toutefois de la quantité maximale autorisée. Il existe également un "stockage de travail", où les résultats peuvent être analysés et comparés. Officiellement, la quantité maximale autorisée est de 50 To, mais l'ARP avait envoyé 150 To, de sorte que les données devaient être déplacées ailleurs. Dans ce cas, "ailleurs" était le stockage sur bande, qui reste en fait le moyen le moins cher de stocker des données, mais qui implique également de déplacer physiquement des bobines de bande vers et depuis les unités de lecture et d'écriture. Même si ces bandes sont déplacées par un robot, on peut imaginer que cela prend un certain temps et que l'on ne déplace des données sur ou hors de la bande qu'une fois de temps en temps. On pourrait probablement donner l'ordre de copier simplement chaque lecteur de fichiers sur la bande, mais cela resterait probablement bloqué quelque part et il pourrait y avoir des erreurs de transcription. Au lieu de cela, nous avons déplacé les données une génération à la fois (c'est-à-dire deux jours de simulation) et nous avons utilisé une fonction de hachage pour nous assurer que les bits sur le support d'origine étaient les mêmes que sur le nouveau support.
Ce problème a été résolu et les volontaires du projet sur les précipitations en Afrique peuvent donc poursuivre leurs activités. Nous disposons maintenant d'environ 265 jours de résultats et nous aimerions vraiment compléter l'année complète avec les 100 derniers jours en raison du caractère très saisonnier des précipitations en Afrique. Près de l'équateur, il y a généralement deux saisons des pluies et deux saisons sèches, car la zone de convergence intertropicale se déplace avec le soleil. Au nord et au sud, il y a généralement une saison des pluies et une saison sèche relativement longue. Une année complète ajoute donc une réelle valeur scientifique au jeu de données. Le soutien de SURF pour le stockage à grande échelle prendra fin, mais une solution différente à long terme a été trouvée pour s'assurer que les scientifiques puissent continuer à analyser les résultats afin de mieux comprendre les conditions météorologiques en Afrique et leur prévisibilité".
Fortes pluies en Afrique. Photo : Jan Friesen
Merci à l'équipe de l'ARP pour son partenariat continu avec les WCG et pour son aide dans la création de cette mise à jour. Si vous avez des commentaires ou des questions, veuillez les laisser dans ce fil de discussion pour que nous puissions y répondre. Nous vous remercions de votre soutien.
L'équipe du WCG
Publié le : 15 mars 2023
Source : https://www.worldcommunitygrid.org/about_us/article.s?articleId=781