Voici 4 ans, les universités de la Fédération Wallonie-Bruxelles décidaient de mieux s’organiser en termes de capacités de calcul intensif afin de permettre à la communauté des chercheurs de pouvoir solliciter de manière plus flexible les ressources et capacités dont ils ont besoin.

Au lieu de continuer dans la voie du “chacun pour soi” – chaque université tentant de se doter (illusion?) de la capacité de calcul nécessaire -, il fut décidé de mettre les infrastructures à la disposition de tous. Et – corollaire logique – de veiller à ce que les systèmes installés sur chaque site soient complémentaires, de par leurs caractéristiques et prédispositions au calcul intensif.

Ce projet de mutualisation, proposé au FNRS en septembre 2010 et entériné (financièrement) au début 2012, a donné naissance et est piloté par le CECI, le Consortium des Équipements de Calcul Intensif.

Un réseau quasi totalement maillé

Les années 2012 et 2013 ont été mises à profit pour installer les différents clusters du maillage (les interconnexions entre sites passent via le réseau Belnet).

Aujourd’hui, le paysage du calcul intensif académique se présente donc comme un puzzle hétéroclite mais cohérent. Sur chaque site, des supercalculateurs de niveau T2 (tier-2) concentrent jusqu’à plusieurs milliers de processeurs. Voir tableau ci-dessous.

Les concentrations de processeurs, le nombre de noeuds par système, l’espace mémoire diffèrent – de quoi pouvoir répondre à tous les types de sollicitations. “Certains systèmes offrent une importante mémoire de calcul [Ndlr: jusqu’à 512 Go, actuellement, avec des perspectives pour passer parfois à 4 voire 8 To]. D’autres disposent d’un nombre plus important de coeurs, mais moins de mémoire, et sont donc plutôt destinés à du traitement (hyper-)parallèle.”, explique Benoît Champagne, président du Consortium.

Benoît Champagne (CECI): “La structure de mutualisation qui a été mise en oeuvre est particulièrement intéressante. Mettre les ressources en commun est une excellente stratégie parce qu’elle permet de rencontrer les besoins de tout le monde.”

“D’autres encore, comme à l’UMons ou à l’UNamur, se situent entre les deux et se destinent dès lors davantage aux calculs longs qui peuvent durer plusieurs semaines. Etc. Selon ses besoins et les caractéristiques du projet, chaque chercheur peut donc choisir le cluster sur lequel il fera effectuer le traitement.”

SMP: traitement de tous les processus/threads sur un seul noeud

MPI: traitement de tâches massivement parallèle avec allocation de tous les processus/threads en multi-noeuds

Si les systèmes installés dans les différentes universités proviennent de fournisseurs différents, tous les appels d’offres imposent systématiquement aux soumissionnaires de proposer des solutions qui assurent la compatibilité de l’ensemble. Dénominateurs communs: du Linux (Debian) et un job manager open source (Slurm).

Près de 500 chercheurs peuvent ainsi “piocher” dans les ressources disponibles. Pour ce faire, il leur suffit d’introduire une demande via le portail du CECI. Chaque chercheur dispose d’un identifiant et d’un mot de passe qui lui ouvrent la voie vers les différents clusters disséminés dans les universités.

Utilisation à bon escient

Aucune politique de quota – telle université, tel chercheur, tel département a droit à tel volume ou fréquence de ressources – n’est associée à cette mise en commun.

“La variété des systèmes disponibles évite les chamailleries entre chercheurs.”

“Nous avons voulu éviter ce genre de conflit. On constate en tout cas que les chercheurs se chamaillaient beaucoup plus dans la situation antérieure, lorsque le nombre de systèmes par cluster était limité. Désormais, la variété des systèmes disponibles pallie ce genre de situation. Nous demandons simplement que les utilisateurs opèrent en bons pères – ou mères – de famille. Pas question évidemment pour un chercheur de monopoliser la moitié d’un espace disque de manière continue. Mais on comprend volontiers qu’il y ait des pics temporaires. Lorsqu’une file d’attente se forme, les utilisateurs les plus intenses doivent laisser passer devant eux des chercheurs dont les besoins sont moins fréquents…”

Pas de quota, donc, mais un suivi d’utilisation via statistiques. “Nous n’avons encore relevé aucun excès. Sur une longue distance, les taux d’utilisation s’égalisent…”

Manque d’espace

L’arrivée du supercalculateur de niveau Tier-1 au Cenaero représente dès lors une bonne nouvelle pour la communauté des chercheurs. Rappelons que 60% de son potentiel a en effet été réservé à la recherche fondamentale.

Bonne nouvelle car, sur les clusters des différentes universités, il arrive, selon les périodes, que la saturation menace. Au début 2013, lorsque seuls deux systèmes avaient déjà été “mutualisés”, la saturation était quasi totale. La mise en réseau des clusters montois et namurois au printemps 2013 a libéré de l’espace, ramenant le taux moyen d’occupation à 80 ou 90%.

L’ajout, à l’été, du cluster de l’ULB “a permis de se mettre en rythme de croisière”, indique Benoît Champagne. Le cluster de l’ULg, lui, est encore en phase finale de test mais s’est ouvert au maillage régional à la fin du mois de février. “De quoi dé-saturer l’un des systèmes sur lequel on note une longue liste d’attente…”

Nombre de tâches de calcul – du moins pour les applications qui se prêtent au calcul parallèle massif – vont pouvoir être basculées vers le T1, avec possibilité de solliciter simultanément 4.000 coeurs (sur le total de 11.500 processeurs que compte ce géant). “Cela va nous permettre de libérer du temps système sur les systèmes T2 des universités.”

Montrer patte blanche

Pour pouvoir solliciter des ressources système T1, le chercheur requérant doit démontrer que l’application visée peut bel et bien tourner en parallèle massif, “qu’elle se comporte bien en parallèle sur T2 et peut donc passer à du T1”, précise Benoît Champagne. Le contrôle d’aptitude se fait automatiquement via le CECI.

Pour accéder aux ressources du T1, chaque chercheur devra documenter sa demande de ressources système: type d’application, caractéristiques techniques, nombre d’heures par coeur requise, capacité mémoire nécessaire…

Pour ce qui est de la mise à disposition de ressources système, le principe sera le même qu’au niveau T2: en cas de demande surnuméraire, une file d’attente est constituée, avec octroi de priorités. “Plus un chercheur fait du calcul, plus sa priorité dans la file d’attente baisse. Et ce, afin de faire de la place pour tout le monde.”

Si les jobs importants auront par ailleurs la priorité, le grand nombre de processeurs disponibles permettra par exemple de faire tourner les grosses tâches, le temps nécessaire, sur quelques milliers de processeurs et de dispatcher les plus petits jobs sur le solde disponible.

Nécessaires adaptations

Bien entendu, toutes les applications ne nécessitent pas ou ne sont pas adaptées à du traitement massivement parallèle.

Pour certaines, un long travail d’adaptation sera nécessaire. Selon le cas, il faudra en passer par “une bonne compilation, la réécriture des algorithmes ou l’ajout d’un chapeau au-dessus du code existant”, souligne Benoît Champagne.

Le consortium CECI organisera la formation des équipes qui devront adapter les codes au massivement parallèle. Ces formations seront données par les spécialistes des différentes universités. Concrètement, un pool d’administrateurs système et de logisticiens, travaillant pour les différentes institutions, collaborent afin d’optimiser les compilations des codes. Chaque institution met à disposition au moins un spécialiste qui peut être consulté par ses pairs et par les chercheurs qui ont besoin d’assistance.

D’ores et déjà, le CECI a répertorié les applications et programmes existants afin d’identifier ceux qui peuvent d’ores et déjà tirer parti du T1. Ils balaient toute une série de domaines d’applications. Quelques exemples:

• UNamur: cosmologie
• ULB: physique nucléaire, dynamique nucléaire et dynamique des fluides
• UCL: physique des matériaux et dynamique des fluides
• ULg: dynamique des fluides
• UMons: dynamique des fluides

Des moyens financiers mutualisés

Le budget T2 annuel du CECI est d’un peu moins d’un million d’euros pour les équipements de calcul. Le financement vient du FNRS. Une contribution financière d’un même ordre de grandeur provient des universités afin d’assurer le fonctionnement de l’équipement (salles machines, alimentation électrique, logiciels…).  S’y ajoute le personnel spécialisé, dans les différentes Institutions, qui sont financés pour partie par les institutions elles-mêmes et pour partie par le FNRS (pour ce qui concerne les logisticiens de recherche). La clé de répartition est similaire à celle du financement de la recherche en général.