Cela fait un moment que nous n'avons pas posté de mise à jour, mais cela ne veut pas dire que le projet est resté inactif ! Si vous avez suivi notre serveur Discord, vous savez que nous avons continué à progresser, et grâce à nos bénévoles, aujourd'hui est un jour de fête !
Voici un résumé de l'état actuel du projet :
Résumé
- Le calcul de DS2 est terminé ! Au 1er avril 2022, nous avons enfin franchi le seuil des 10 000 réseaux formés pour ParityModified, achevant ainsi notre calcul pour DS2. Cela a pris beaucoup de temps, et l'ensemble complet de données devrait aider les chercheurs à comprendre comment les réseaux neuronaux encodent les données.
- Tous les tarballs DS1/DS2 peuvent être téléchargés à partir de https://www.mlcathome.org/mlds.html. C'est votre travail, et maintenant il est libre pour vous ou n'importe qui d'autre de l'étudier et de le développer !
- Les archives de DS3 sont toujours en attente. Les calculs pour DS3 ont été achevés l'année dernière, mais nous n'avons pas encore téléchargé les ensembles de données complets sur le site Web. Nous nous sommes concentrés sur l'analyse, et la taille même de l'ensemble de données peut causer des maux de tête, rendant l'empaquetage une tâche fastidieuse. Nous les publierons ici dès qu'ils seront disponibles.
- Les WUs de DS4 sont sortis ! Les WUs DS4 sont sorties pour notre client CPU, et les progrès ont commencé là. DS4 est beaucoup plus compliqué à gérer en arrière-plan parce qu'il a plusieurs ensembles de formation qui ont des exigences différentes, mais nous poussons de nouvelles WUs aussi vite que nous le pouvons.
- Nous mettons en pause les WUs GPU : Cela nous attriste, mais nous n'avons pas réussi à mettre à jour nos clients GPU pour prendre en charge les WU DS4. Et comme nous nous concentrons sur l'analyse des résultats que nous avons, nous avons de moins en moins de temps pour nous concentrer sur le développement de clients autres que le client CPU. Lorsque la file d'attente GPU actuelle sera épuisée, nous n'enverrons plus de travail GPU jusqu'à ce que nous ayons le temps de redonner la priorité au portage d'un client GPU. La maintenance d'un client GPU a pris beaucoup plus de temps et d'efforts que prévu, et à moins que nous puissions obtenir une aide extérieure, cela restera une faible priorité pour le moment. Nous apprécions vraiment nos volontaires GPU, mais pour le moment nous n'avons pas de travail à envoyer, et nous vous encourageons à tourner votre matériel pour soutenir d'autres projets valables qui peuvent supporter votre matériel !
- Nous explorons le portage du client CPU vers Rust. De plus, notre dépendance à PyTorch est plus devenue une entrave à la portabilité qu'un atout. Bien que l'écosystème des réseaux neuronaux dans Rust soit loin d'être aussi robuste, la capacité de Rust à compiler un binaire statique ciblant un grand nombre d'architectures et de systèmes d'exploitation est très attrayante pour la portabilité. En tant que tel, nous cherchons à porter notre client MLC CPU en pur rust, avec une option pour supporter les GPUs à partir de la même base de code dans le futur. Si vous connaissez Rust et êtes intéressé, veuillez contacter les administrateurs de MLC.
Veuillez noter qu'il y a encore des WUs DS2 dans la file d'attente de travail, nous vous demandons de continuer à les cruncher, car il est toujours préférable d'avoir plus d'échantillons en réserve. Cependant, nous ne prévoyons pas de mettre en file d'attente d'autres UWs DS1/2/3, et toutes les nouvelles UWs ajoutées seront DS4 ou plus. Ceci s'applique également à la file d'attente des GPU.
Nous sommes très enthousiastes quant aux WUs DS4 à venir, et cela devrait nous aider à démontrer notre théorie selon laquelle des réseaux similaires se regroupent dans l'espace des paramètres à la fois dans les réseaux feed forward et CNN, ainsi que dans les RNN utilisés dans DS1/2/3. Au-delà de DS4, nous avons quelques idées mais rien de concret pour le moment. Nous vous tiendrons informés au fur et à mesure que nous avancerons.
Merci encore à tous nos bénévoles qui soutiennent le projet et aident la science.
-- Les administrateurs de MLC@Home
Page d'acceuil : https://www.mlcathome.org/
Invitation discord : https://discord.gg/BdE4PGpX2y
Twitter : @MLCHome2
Source : https://www.mlcathome.org/mlcathome/forum_thread.php?id=267&postid=1492#1492