Artelys x CodaLab : optimisation du stockage des données de compétitions de Data Science
Depuis la version 1.5, les organisateurs peuvent déporter les calculs d’évaluation de code sur leur propre parc de machines, ouvrant la porte aux compétitions Big Data. Le projet souhaite désormais expérimenter de nouveaux protocoles de compétition respectant la confidentialité des données et supportant les compétitions de Big Data à destination de l’industrie et des start-ups.
C’est plus de 1 000 compétitions qui ont été créées sur la nouvelle version depuis sa mise en production en novembre dernier et les énormes volumes de données des compétitions historisées depuis l’origine de Codalab sont de l’ordre de plusieurs dizaines de To. Ces données sont issues des soumissions de solutions par plus de 25 000 participants à ce jour et du stockage du jeu de données nécessaire à chacune des compétitions. Le succès de la plateforme a mené à la nécessité d’avoir un système de stockage adapté à la demande afin d’éviter la saturation. Plutôt que d’entrer dans une logique de payer plus pour avoir plus de stockage, l’idée a été de travailler sur l’optimisation des ressources existantes.
Artelys a accompagné CodaLab dans la maintenance et l’amélioration des plateformes déployées. En procédant par étapes et en commençant par réaliser un état des lieux avant de fournir des solutions, il s’est avéré qu’un Dashboard de Storage Analytics permettait d’identifier les causes du surstockage. Certaines solutions mises en place prennent en compte la recherche de données obsolètes ou redondantes, la limitation du nombre de soumissions par les participants et de la taille des jeux de données initiaux pouvant être déposés par les organisateurs ou encore la recherche d’usages inadaptés de la plateforme. La configuration d’un système de stockage distribué avec MinIO a également permis l’interfaçage automatique des différents systèmes de stockage afin de faciliter le management de ces données. La combinaison de ces approches participe efficacement au bon fonctionnement des serveurs de CodaLab.
L’hébergement des compétitions de Data Science est de plus en plus demandé par divers acteurs souhaitant valoriser leurs données et l’apport continu d’Artelys à la plateforme CodaLab permet d’avoir une vision optimale du stockage en cours. Cette approche proactive pérennise la quantité de stockage disponible rendant la plateforme toujours plus disponible pour des compétitions futures.
Si vous voulez en savoir plus sur la plateforme CodaLab, vous pouvez nous contacter ou visiter leur site web.
Des technologies de réseau innovantes peuvent améliorer, jusqu’à 40%, l’intégration des énergies renouvelables dans le réseau letton
— Le réseau électrique est confronté à des difficultés pour gérer les quantités croissantes de nouvelle production d’énergie éolienne et solaire. Les technologies d’amélioration du réseau (GET) sont essentielles pour optimiser l’utilisation de l’infrastructure existante. Artelys a réalisé une étude pour le gestionnaire du réseau de transport letton (TSO) AST afin d’évaluer la capacité d’accueil de la production renouvelable du réseau de transport et d’évaluer les avantages que les GET peuvent apporter à l’intégration des énergies renouvelables. L’étude a effectué des simulations à l’aide de l’outil de flux optimal open-source, PowSyBI Metrix. Les résultats montrent que les Grid Enhancing Technologies peuvent augmenter la capacité d’accueil des sources d’énergie renouvelables (SER) jusqu’à 40 % et ont été annoncés dans le communiqué de presse suivant.
Artelys Knitro 14.1 : résout très rapidement vos modèles non-convexes
– Nous avons le plaisir d’annoncer qu’Artelys Knitro 14.0 est maintenant disponible ! Cette nouvelle version permet aux entreprises de résoudre des problèmes complexes d’optimisation non linéaire avec une efficacité et une précision sans précédent.
Vous avez manqué l’événement de diffusion de METIS 3 ? Les diapositives sont désormais disponibles !
— Artelys avait le plaisir d’organiser l’évènement de dissémination du projet METIS 3 le 17 avril dernier. Au cours de cet événement, nous avons eu l’occasion de présenter les derniers développements du modèle et des jeux de données associés à METIS, avec des présentations détaillées des principales études réalisées dans la troisième édition du projet et des échanges stimulants avec des intervenants extérieurs!
Artelys participe à la simulation du stockage souterrain d’hydrogène à grande échelle en Europe.
— Artelys participe au projet quinquennal FrHyGe financé par la Commission européenne via le partenariat Clean Hydrogen.
