LESIA - Observatoire de Paris

Optimisation en temps-réel des performances de l'optique adaptative

Damien Gratadour — 2015-10-02T15:21:44Z

Un sous-système critique du calculateur temps-réel (en anglais real-time computer : RTC) de l'optique adaptative (OA), et de la simulation numérique associée, est le module de supervision. Son rôle est de nourrir le coeur de calcul temps-réel à un rythme régulier avec une matrice de reconstruction, calculée à partir d'une analyse statistique des mesures.

Dans le cas d'un système d'OA tomographique, ce processus implique l'inversion d'une matrice dense : la matrice de covariance des mesures de l'analyseur de surface d'onde de l'OA, dont la taille pourrait atteindre jusqu'à 100k x 100k pour les instruments de l'E-ELT les plus complexes actuellement en projet. Cette inversion peut être effectuée par décomposition spectrale (Abdelfattah et al. 2014) ou par inversion directe. Dans ce dernier cas, la complexité numérique évolue comme N3 et les algorithmes sous-jacents nécessitent une synchronisation fréquente des communications dans les étapes du calcul, ce qui représente un goulot d'étranglement qui limite les performances.

En considérant les performances maximales pouvant être atteintes avec un GPU pour un produit matrice-matrice (au coeur de la factorisation de Cholesky pour l'inversion d'une matrice symétrique), il faudrait utiliser une centaine de GPU pour inverser une matrice 100k x 100k en double précision flottante à la cadence requise par une OA tomographique. Afin de pouvoir simuler et éventuellement piloter cette échelle de système, il est nécessaire de réduire ce nombre. Développer des méthodes efficaces pour l'inversion de cette matrice symétrique dense, devrait aussi permettre de réduire le coût de l'infrastructure finale, de minimiser la complexité du système et de maximiser son efficacité énergétique.

Afin de développer des solutions optimisées pour s'attaquer à ce problème central pour l'opération des systèmes d'OA, nous avons entamé une collaboration avec le Extreme Computing Research Center (ECRC) à la King Abdullah University of Science and Technology (KAUST) en Arabie Saoudite, visant à développer une approche efficace du calcul de la matrice de contrôle pour l'OA sur un système multi-coeurs équipé de plusieurs GPU. Cette approche est basée sur l'utilisation de moteurs de répartition de la charge de calcul sur un système distribué, comme MORSE (Matrix Over Runtime Systems at Exascale). Le but de ce type d'outils est de fournir des méthodes d'algèbre linéaire permettant de maximiser les performances de calcul sur des systèmes multi-coeurs distribués à grande échelle et équipés d'accélérateurs matériels, en utilisant toute la puissance de traitement disponible. Ce type d'outils repose sur l'utilisation de systèmes dynamiques d'ordonnancement des tâches de calcul simultanément sur différents coeurs et d'un modèle de programmation de flux de données basé sur l'utilisation de graphes acycliques directs (DAG) pour un ordonnancement efficace dans lequel les tâches sont exécutées de manière asynchrone tout en respectant un chemin critique.

Notre approche originale pour le calcul du reconstructeur d'une OA tomographique est basée sur la factorisation Cholesky d'une matrice dense et symétrique. Ce travail permet aujourd'hui d'inverser une matrice 50k x 50k en une minute environ sur un serveur de calcul haut de gamme équipé de GPU. Les progrès qui seront réalisés dans les prochaines années sur ce type d'architecture et l'apparition de systèmes avec une plus grande densité de GPU devraient permettre de maintenir ce type de temps d'exécution mais sur des matrices de plus grandes tailles (jusqu'à 100k x 100k).

Plus récemment, dans le cadre de cette collaboration, nous avons développé une nouvelle approche de simulation des systèmes d'OA tomographiques basé sur le même type de d'outils et fonctionnant sur plusieurs GPU (Gendron et al. 2014). À partir d'un modèle des erreurs de reconstruction tomographique et d'une approche pseudo-analytique il est possible de déterminer les performances du système en utilisant le formalisme de l'algèbre linéaire et le reconstructeur tomographique discuté ci-dessus. Une des caractéristiques clés de cette approche de simulation d'OA est l'utilisation intensive de méthodes BLAS de niveau 3, qui représentent les principaux blocs de base de l'ensemble de l'approche. Il existe des librairies optimisées pour ces opérations, fournies par la plupart des fabricants de matériel, ce qui permettra à terme de migrer cette simulation d'OA vers d'autres accélérateurs, par exemple, Intel Xeon Phi, AMD APU ou même des systèmes équipés de processeurs ARM et d'accélérateurs matériels. La possibilité d'utiliser des systèmes à mémoire distribuée est également étudiée pour pouvoir exécuter différentes simulations simultanément et générer différentes séquences d'observation. Il est essentiel d'évaluer la performance des solutions précitées sur les architectures informatiques émergentes, en se concentrant sur les opérations BLAS de niveau 3 impliquées à la fois dans les simulations de systèmes tomographiques et pour leur rôle dans le RTC du système final. L'objectif est à la fois d'optimiser la vitesse d'exécution des simulations de manière à mener de grandes campagnes de simulations à l'échelle pour le dimensionnement des futurs télescopes à diamètre extrême et de maximiser l'efficacité du calcul du reconstructeur tomographique dans le contexte de l'opération du système.

Contrôle temps-réel de l'instrument

Damien Gratadour — 2015-10-02T15:21:34Z

S'attaquer au problème de la puissance de calcul sans précédent nécessaire au contrôle des systèmes d'optique adaptative (OA) couplée au débit de données associé est un des défis majeurs identifiés lors des études de concept d'instruments pour l'E-ELT. Ainsi la loi de contrôle la plus simple appliquée à un système multi-étoiles-guides nécessitera une puissance de calcul de plusieurs centaines à un millier de GFLOP/s et des débits de données associés de l'ordre de la centaine de Gb/s. Alors que les designs actuels des systèmes de contrôle temps-réel de la plupart des instruments d'OA sont basés sur l'utilisation de micro-processeurs spécialisés (DSP) et/ou de puces à logique reprogrammable (FPGA), la complexité et l'échelle des systèmes de future génération rendent l'utilisation de ces technologies extrêmement coûteuse et risquée. De plus, du fait de la saturation de l'évolution de la puissance des processeurs X86 et de la voracité de ces derniers, l'utilisation de cette technologie nécessite la mise en place de structures conséquentes, très gourmandes en énergie.

Suite à l'évolution récente du marché du calcul haute performance, le développement d'une nouvelle solution pour les calculateurs temps-réel (en anglais real-time computer : RTC) s'appuyant sur des processeurs tels que les GPU pour remplacer les cartes DSP est une option attrayante. Ce matériel disponible facilement peut potentiellement fournir la puissance de calcul nécessaire pour un coût limité et avec une efficacité énergétique plutôt bonne. De plus, des modèles de programmation complets et optimisés sont disponibles et sont compatibles avec des bibliothèques mathématiques traditionnelles. Ce point est crucial pour assurer le développement d'une solution évolutive basée sur des standards. Les principales questions liées à cette stratégie sont les suivantes :

le nombre d'accélérateurs nécessaires (lié à la performance spécifique à l'application) et la véritable performance atteignable dans une configuration de mémoire distribuée,
la latence dans le transfert des données vers et depuis le GPU,
la possibilité d'effectuer la maintenance du système sur le long terme compte-tenu des évolutions rapides du marché du calcul haute performance et de l'inconnu qu'est la stratégie à long terme des fabricants pour ce marché.

Afin d'étudier cette stratégie ainsi que d'autres options technologiques comme l'utilisation de logiques reprogrammables (FPGA), notre équipe s'engage aujourd'hui dans un vaste programme de recherche (nom de code Green Flash) aux cotés de partenaires universitaires (Université de Durham au Royaume-Uni) et industriels (les entreprises PLDA en France et Microgate en Italie) visant à sélectionner et valider différents concepts pour le contrôle temps-réel des OA de l'E-ELT. D'une durée de 3 ans et pour un budget de plus de 4M€ financé en grande partie par le programme européen Horizon 2020, le but du projet Green Flash est une démonstration à pleine échelle d'un prototype de RTC pour un instrument tomographique multi-étoiles laser sur l'E-ELT. Bien que cela ne soit pas inclus dans le programme financé aujourd'hui, une validation sur le ciel du prototype et une évaluation de sa performance dans des conditions réelles est cruciale. Durant le projet, un instrument d'OA pouvant accueillir le prototype sera identifié et un plan d'intégration sera proposé à la fin de la phase de validation des performances.

Simulations numériques efficaces pour l'optique adaptative

Damien Gratadour — 2015-10-02T15:21:23Z

Les simulations Monte Carlo dites bout-en-bout sont largement utilisées dans la communauté de l'instrumentation pour prédire la performance des systèmes, pour tester de nouveaux concepts et valider leurs comportements ou pour mener des études de compromis technologique pour leur conception. Ces simulations intensives multi-physiques impliquent des algorithmes complexes basés sur l'utilisation d'une variété de bibliothèques mathématiques (générateurs de nombres aléatoires, transformée de Fourier, librairies de routines BLAS et LAPACK).

Une approche innovante, apparue depuis moins d'une dizaine d'années dans le domaine du calcul haute performance, consiste à utiliser des accélérateurs matériels tels que des processeurs graphiques reprogrammables (GPU) pour s'affranchir des limitations de l'architecture X86 et maximiser à la fois le ratio puissance de calcul / coût et le ratio puissance de calcul / énergie nécessaire. Avec l'émergence du concept de GPGPU (General Purpose GPU computing), il est maintenant possible, avec un minimum d'effort, d'exécuter du code générique sur cette architecture massivement parallèle. Les GPU offrent une solution peu onéreuse pour construire des grappes de calcul massivement parallèles afin de résoudre des problèmes calculatoires de grandes échelles de manière efficace.

Nous avons proposé de mettre en oeuvre une plateforme de développement numérique pour l'optique adaptative (OA) : COMPASS, incluant :

Un outil de simulation de bout-en-bout à pleine échelle de l'OA pour différents dimensionnements ;
Un noyau temps réel optimisé pouvant être directement intégré dans un système réel ;
Un prototype de système d'acquisition à faible latence.

Le développement de cette plateforme est basé sur une intégration complète du logiciel avec le matériel et s'appuie sur une migration optimisée de la simulation vers une architecture hétérogène utilisant les GPU comme accélérateurs. Les axes de recherche sont multiples : modélisation de l'OA, contrôle temps-réel en boucle ouverte ou fermée, acquisition d'images à faible latence et science avec OA dans le contexte de l'instrumentation de l'E-ELT. La collaboration mise en place est pluridisciplinaire alliant spécialistes de l'astrophysique, de l'instrumentation pour les grands télescopes et du calcul haute performance.

Le projet débuté en mars 2013 fédère le travail des équipes de six laboratoires partenaires en France et a été financé par l'ANR. L'approche pluridisciplinaire qui est suivie a permis de produire des résultats intéressants le long des différents axes de recherche du projet, comme le montrent les différents travaux publiés menés avec la plateforme (Clénet et al. 2015, Carlotti et al. 2014 ; Gratadour et al. 2014 ; Vidal et al. 2014 ; Baudoz et al. 2014 ; Sevin et al. 2014 ; Gendron et al. 2014 ; Gratadour et al. 2013 ; Clénet et al. 2013).

Au-delà de la simulation de l'OA un travail de définition précise de l'interface entre un simulateur d'observations et la simulation d'OA est mené ainsi qu'un premier travail d'exploitation scientifique de la plateforme complète (de l'objet astrophysique aux résultats scientifiques) à travers l'étude de différents cas scientifiques comme l'observation de noyaux actifs de galaxies.

: Panneau de contrôle du logiciel de simulation OA COMPASS

La plateforme est aujourd'hui dotée de nombreuses fonctionnalités permettant de simuler une OA classique sur étoile naturelle aussi bien qu'une OA tomographique multi-laser sur différentes échelles de télescopes et avec une efficacité démontrée (5 à 10 fois plus rapide qu'un outil comme YAO largement utilisé dans la communauté). Elle a été testée par les partenaires du projet mais aussi par des équipes extérieures en Europe et a prouvé sa fiabilité et son efficacité.

Au-delà de l'exploitation de la plateforme qui a déjà commencé, la suite du projet s'oriente vers le développement d'un mode distribué afin de pouvoir exécuter des simulations sur des grappes de calcul équipées de GPU et ainsi atteindre les plus grandes échelles de systèmes en minimisant le temps de simulation. Un travail important doit être mené sur l'optimisation du code afin de le rendre adaptable à l'évolution des architectures et de minimiser son empreinte mémoire tout en maximisant les performances. Une interface utilisateur dans un langage très populaire comme Python est aussi en cours de développement et devrait permettre une adoption plus rapide par la communauté. L'objectif est de faire de cette plateforme de simulation un outil standard pour le développement des télescopes à diamètres extrêmes.

COMPASS / Green Flash

Damien Gratadour — 2015-10-02T15:20:57Z

Nous menons au LESIA un travail de recherche transverse, au carrefour de l'instrumentation pour les grands télescopes et du calcul haute performance afin de développer de nouvelles solutions numériques tant matérielles que logicielles pour répondre aux défis posés par la réalisation des optiques adaptatives des instruments de l'European Extremely Large Telescope (E-ELT).

Le calcul haute performance (High Performance Computing — HPC) est devenu une composante clé de la réalisation des grands instruments scientifiques tels que ceux du futur European Extremely Large Telescope (E-ELT), qui devrait voir sa première lumière en 2024. Pour cette nouvelle catégorie d'équipement scientifique d'une échelle extrême, le HPC est non seulement utilisé pour optimiser la conception du télescope et de son instrumentation, afin d'optimiser le budget de construction, mais aussi pour l'opération de ses sous-systèmes afin de produire des données scientifiques pour des centaines d'équipes de recherche.

Par conséquent, en raison de la complexité toujours croissante des instruments astronomiques, la recherche dans le domaine du HPC est devenue un vecteur majeur de découverte scientifique. En effet, la conception d'instruments pour les grands télescopes nécessite des simulations numériques efficaces, tout à la fois des conditions d'observation et du comportement des composants. Ces instruments peuvent inclure de gros moyens informatiques pour leur opération et le stockage de données. Enfin l'extraction des observables de ces données peut également nécessiter des capacités de calcul importantes.

Dans ce contexte, nous menons au LESIA une activité de R&D basée sur le potentiel des accélérateurs matériels tels que les processeurs graphiques reprogrammables (GPU). Cette R&D se fait selon trois axes principaux :

l'outil de simulations numériques d'instrument COMPASS, projet ayant bénéficié d'un financement par l'ANR en 2013 ;
le prototypage de calculateur temps-réel des optiques adaptatives de première lumière de l'E-ELT, objet du projet Green Flash, financé en 2015 dans le cadre d'un appel européen H2020 ;
l'optimisation en temps réel des performances de l'optique adaptative, projet faisant l'objet d'une collaboration avec l'Extreme Computing Research Center (ECRC) à la King Abdullah University of Science and Technology (KAUST) en Arabie Saoudite.

Equipe LESIA de la R&D "calcul haute performance pour l'optique adaptative"
Nom	Rôle
D. Gratadour	Responsable scientifique de la R&D
A. Sevin	Chef de projet, architecture software / spécialiste GPU
D. Perret	Electronique / spécialiste FPGA
J. Brulé	Informatique / développement informatique bas niveau
B. Le Ruyet	Electronique / spécialiste FPGA
F. Ferreira	Doctorant / développement d'outil de simulation
M. Lainé	CDD / développement middleware / spécialiste GPU
N. Doucet	CDD / développement / spécialiste GPU
J. Bernard	CDD / développement / spécialiste GPU