Issuu

JAARVERSLAG JAARVERSLAG

2021

Vlaams Supercomputer Centrum

Met steun van

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Inhoudsopave Voorwoord In de kijker

4 6

Cloud computing Europa Evenementen

Ter inleiding

Innovative Computing for a Smarter Flanders

8 8

Subsidiëring

Effectieve personeelsinzet

Profielen

Gevorderde ondersteuning

Outreach naar bedrijven

Succesverhalen

Het VSC uitgelicht

Personeel

Testgebruikers

Bestaande en nieuwe klanten

Vraag naar VSC demo materiaal

Uitgebreide HPC ondersteuning

Financiering van het VSC

Recurrente financiering

Eenmalige investering SaaS

Opleidingen

Technopolis rapport

Het Tier-1 supercomputerplatform

Evenementen

Activiteiten uitgevoerd in 2021

LUMI-BE kick-off

VSC Tier-1 Cloud component kick-off

VSC Lunch session

VSC Industry Road Tour

Compute

Data

Cloud

Internationale samenwerking

Integratie

EuroHPC, LUMI, EuroCC, PRACE

EGI

Tier-2 infrastructuur

Beschikbare infrastructuur

Exploitatie en gebruik

Succesverhalen

72 78

Toekennen rekentijd Tier-2

Bijlagen

Gebruikersondersteuning

Colofon

Beantwoorden van vragen van gebruikers

Bijeenkomsten met gebruikers/ specifieke ondersteuning

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Voorwoord Het VSC bundelt vanaf 2009 alle kennis in Vlaanderen rond wetenschappelijk en technisch rekenen. Het maakte sinds die tijd een heel aantal veranderingen door. Ook in 2021 werd er verder werk gemaakt van VSC’s missie om bij te dragen aan innovatie in Vlaanderen door het aanbieden van diensten en infrastructuur op Tier-2 en Tier-1 niveau voor alle RDI activiteiten in de academische wereld, de industrie en de overheid en om de aansluiting aan de Europese HPC doelstellingen te verzekeren.

wetenschappen, (toekomstige) HPC-experten en het grote publiek. Verder gingen de eerste Belgische pilootprojecten op LUMI met de infrastructuur aan de slag.

Tenslotte bleek het anno 2021 nog steeds moeilijk om live evenementen te organiseren. Dit hield VSC echter niet tegen om online een aantal zaken op te zetten. Zo was er een officiële kick-off van het LUMI-BE project, werd de cloud component voorgesteld en organiseerde VSC een eerste lunchsessie rond Omdat de noden in Vlaanderen groter bleken artificiële intelligentie. dan alleen maar rekenkracht, werd in 2018 het Tier-1 Supercomputing-as-a-Service project gestart. Naast Tier-1 rekenkracht, worden een data component en cloud faciliteiten toegevoegd, gezien het groeiende belang ervan voor meerdere onderzoeksdisciplines. De cloud faciliteiten gingen in 2021 in productie en er werden na een oproep nieuwe onderzoeksprojecten geselecteerd. De data component zit nog in pilootfase met een aantal pilots om de infrastructuur op punt te stellen. Verder werd in de loop van 2021 de Technopolis Groep (Nederland) gevraagd om de organisatie, infrastructuur en werking van het VSC te analyseren met het doel om een aantal strategische keuzes voor de toekomst voor te bereiden. De bedoeling is om in 2022 een uitgebreid toekomstplan VSC 2.0 te kunnen presenteren. Intussen zijn via EuroHPC, LUMI en EuroCC de samenwerkingen rond HPC binnen België en Europa verder uitgewerkt. In het Nationaal HPC Compentence Center (NCC) werkt het VSC, via de vijf Vlaamse associaties, samen met CENAERO, CECI en Innoviris aan de uitbouw van een referentiecontactpunt rond HPC op nationaal niveau voor klanten uit de industrie,

Leen Van Rentergem | Jan Ooghe | Ingrid Barcena

Annie Cuyt | Stefan Becuwe

Johan Van Camp | Ewald Pauwels

Stefan Weckx | Ward Poelmans

Geert Jan Bex | Rafal Al-Tekreeti

Caroline Volckaert | Tim Jaenen

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

in de kijker

CLOUD COMPUTING De VSC Tier-1 cloud kwam in productie in 2021. Een (online) lanceringsevent werd op 20 mei georganiseerd. Geïnteresseerden konden er kennis maken met de infrastructuur en toegangsmogelijkheden en enkele use cases werden toegelicht.

EVENEMENTEN In 2021 vonden de meeste evenementen nog online plaats. Naast een online VSC Lunch sessie over AI (180+ deelnemers), organiseerde VSC ook een eerste VSC Industry Road tour event in samenwerking met AI4Growth in Gent.

EUROPA Op 14 januari lanceerde België officieel zijn deelname aan het LUMI consortium via een evenement. Meer dan 250 HPC enthousiastelingen namen deel aan het kick-off event. Het Nationaal HPC Competence Center (binnen EuroCC) ging van start in september. Dit is een samenwerking tussen tien Belgische universiteiten, CENAERO, en Innoviris en bundelt alle kennis rond HPC en HPDA.

SUCCESVERHALEN Op deze pagina belichten we een aantal indrukwekkende succesverhalen van onderzoekers, wetenschappers en bedrijven die tot nu toe baanbrekende resultaten hebben behaald die zonder de infrastructuur van VSC niet mogelijk waren geweest.

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Het VSC uitgelicht Ter inleiding

Financiering van het VSC

De ondersteuning en uitbating van High Performance Computing (HPC) is in Vlaanderen georganiseerd binnen het Vlaams supercomputing centrum, het VSC. Het VSC is een consortium waarin de 5 Vlaamse associaties de krachten bundelen om HPC-infrastructuur en ondersteuning aan te bieden aan de brede onderzoeksgemeenschap in Vlaanderen, zowel uit universiteiten, kennisinstellingen, bedrijven en overheid. Daarnaast biedt het VSC binnen haar opdracht als dienstverlener een waaier aan opleidingen aan die het gebruik van de infrastructuur moeten bevorderen. Het huisvest infrastructuur in vier hubs: UAntwerpen, VUB, UGent en KU Leuven.

De financiering van de Tier-1 en Tier-2 infrastructuur verloopt momenteel via twee geldstromen. Enerzijds is er een recurrent budget van 6.381.000 euro jaarlijks beschikbaar waarmee voornamelijk Tier-2 investeringen en het personeel gefinancierd worden, aangevuld met cofinanciering vanuit de instellingen. Daarnaast wordt via een eenmalige opstartfinanciering van 30.000.000 euro voor de periode 2018-2022 het Tier-1 Supercomputing as a Service met de drie componenten compute, cloud en data gerealiseerd.

Het VSC wordt beheerd door het FWO, Fonds Wetenschappelijk Onderzoek - Vlaanderen. In het Europees model voor HPC wordt een onderscheid gemaakt tussen drie niveaus: de rekencapaciteit waarover onderzoeksinstellingen beschikken (Tier-2), de rekencapaciteit waarvan de noden en de kosten een instelling overstijgen en die op het niveau van een regio of een land voorzien wordt (Tier-1) en de superzware rekeninfrastructuur (Tier-0). Het VSC richt zich vooral op de lagen Tier-2 en Tier-1, en poogt zo een getrapte brug te vormen tussen Tier-3 en Tier-0.

Recurrente financiering In 2021 werd de Tier-2 infrastructuur voor 6.001.000 euro gecofinancierd door het FWO verdeeld over 3.716.000 euro investeringen in hardware en 1.900.000 euro in personeel. Daarnaast investeerde het FWO 380.000 euro in het personeel voor de exploitatie van twee Tier-1’s en de Belnet kost (35.000 euro). Er werd 100.000 euro gereserveerd voor een consultancyopdracht en de outreach activiteiten naar niet-academisch gebruik werden ondersteund met een budget van 250.000 euro. Het gezamenlijk budget bedraagt dus 6.381.000 euro. De universiteiten hebben deze middelen vooral gebruikt voor bijkomende investeringen in Tier-2. Deze instellingen financieren met eigen middelen de energie- en exploitatiekosten van de Tier-2. In onderstaande tabel wordt een overzicht gegeven van de verdeling van deze bedragen over de vijf Vlaamse universiteiten.

Tier 0 Europa Tier

Regionaal | Nationaal

Tier Universiteit 2 Tier 3

Desktop

Afbeelding 1. Tiering model

Vlaams Supercomputer Centrum

Rubriek Personeel in FTE Personeel in Euro totaal personeel Herculessleutel 2019 CAPEX en werking Tier-2 Belnet consultancy

KU Leuven 6 € 570.000 € 570.000 0,4135 € 1.536.566

UHasselt 2 € 190.000 € 190.000 0,04 € 148.640

UGent 5 € 475.000 € 475.000 0,3181 € 1.182.060

Subtotaal VUB UAntwerpen Tier-2 3 4 20 € 285.000 € 380.000 € 1.900.000 € 285.000 € 380.000 € 1.900.000 0,1031 0,1253 1 € 383.120 € 465.615 € 3.716.000

€ 35.000

outreach en industrie Totaal

Tier-1a 2 € 190.000 € 190.000

Tier-1b Totaal 2 24 € 190.000 € 2.280.000 € 190.000 € 2.280.000 € 3.716.000

€ 35.000 € 100.000

€ 250.000 € 6.001.000

€ 250.000 € 6.381.000

Tabel 1. Verdeling recurrent budget 2021

Voor de toekenning van de subsidies sloot het FWO met elke universiteit een overeenkomst af waarin voorzien werd dat de besteding van de toegekende middelen kan gespreid worden over twee begrotingsjaren. De toegekende middelen moeten met bewijsstukken verantwoord worden en over de aanwending moet er een bestedingsrapport ingediend worden waarin onder meer informatie over het gebruik van de Tier-1 en de Tier-2 infrastructuur gegeven wordt.

10 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Eenmalige investering SaaS Het VSC biedt sedert 2018 een nieuw conceptueel Tier-1 model aan: Supercomputing as a Service (SaaS). De Tier-1 supercomputing infrastructuur in Vlaanderen was voordien vooral gericht op gebruikers met zware rekenvraagstukken (typische HPC/HTC workloads). Hoewel dit platform reeds erg succesvol was, komt de focus op compute evenwel niet langer tegemoet aan alle noden van vele onderzoekers. Ook bij de industrie is de vraag naar meer dataverwerking, ontsluiting en gebruiksomgevingen op maat groot. Binnen het SaaS-model kunnen we verschillende infrastructuurcomponenten onderscheiden, die het samen mogelijk maken om een verhoogd service level aan te bieden aan de gebruikers van het VSC:

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

3. Onderzoek met deze datasets vraagt veelal ook een flexibele gebruiksomgeving: een omgeving waar op een interactieve manier, op maat van de toepassingen en van de gebruikers analyses kunnen gebeuren; een omgeving waar pre- en postprocessing kan worden uitgevoerd; een omgeving waar de data op een web-gebaseerde manier kan ontsloten worden voor de gebruiker; kan gevisualiseerd worden of kan geraadpleegd worden door medewerkers, geïnteresseerden of gebruikers van het onderzoek of de onderzoeksresultaten. Hiertoe wordt een infrastructuur voorzien die niet de focus legt op compute, maar eerder op ‘op-maat’ ontsluiting en gebruik van de data. Hier kan een model worden gehanteerd dat sterk aanleunt bij dat van cloud-providers. Een hedendaags Tier-1 supercomputing platform biedt dus zowel compute, data als cloud technologieën complementair met elkaar aan. Toekomstige investeringen in Tier-1 moeten deze focus dan ook reflecteren. Dit houdt in dat blijvende investeringen worden gedaan in de ‘klassieke’ Tier-1 compute infrastructuur, doch dat daarnaast ook een centraal beheerde Tier-1 data omgeving wordt opgebouwd en cloud services worden aangeboden. De laatste twee componenten zijn nieuw op het Tier-1 niveau. Onderstaande impulsfinanciering voor het opbouwen van deze omgevingen zorgt ervoor dat in de periode 2018-2022 een volledig model en infrastructuur kunnen worden uitgebouwd om het Supercomputing as a Service concept te verwezenlijken: 2018

2019

2020

2021

2022

Totaal

Tier-1 compute Tier-1b uitbreiding

5.000.000

5.142.780

142.780

Tier-1c (derde Tier-1)

6.000.000

6.500.699

12.500.699

Tier-1 cloud 435.000

325.000

490.000

950.000

2.200.000

360.000

1.160.000

2.088.720

1.462.559

5.071.279

45.000

175.000

293.000

-12.731

500.269

230.000

700.000

845.500

529.473

2.304.973

190.000

380.000

570.000

2.280.000

5.190.000

1.450.000

8.930.000

4.430.000

10.000.000

30.000.000

Tier-1 cloud Tier-1 data Tier-1 data Tier-1 perifere install Stroom en personeel

Afbeelding 2. SaaS

1. De belangrijkste component in dit model blijft de compute infrastructuur: klassieke rekenclusters die zware of een veelvoud aan rekentaken kunnen verwerken. 2. Onlosmakelijk daaraan verbonden is een data component. Steeds meer gebruikers hebben immers computationeel werk dat intensief gebruik maakt van grote datasets. Het migreren van deze data van en naar de compute infrastructuur telkens deze voor een berekening moet worden gebruikt, is omwille van de schaal zeer inefficiënt. Het is dan ook noodzakelijk een data component toe te voegen waar grote datasets gedurende een langere tijd kunnen opgeslagen worden en van daaruit ook op een efficiënte manier worden verwerkt.

Tier-1 stroom Tier-1 personeel Totaal

Tabel 2. Details impulsfinanciering

Aangezien de Tier-1 financiering afloopt eind 2022, werden in 2021 reeds stappen gezet voor een vervolgtraject zodat ook na 2022 de toegang tot HPC in Vlaanderen kan gecontinueerd worden. Niet alleen het compute luik, maar ook de data en cloud componenten dienen verder uitgebouwd te worden. Ook de veranderende Vlaamse en internationale context dienen meegenomen te worden in de verdere uitbouw van het VSC.

12 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 13

Technopolis rapport In 2021 organiseerde FWO een onderhandelingsprocedure zonder voorafgaande bekendmaking met de opdracht tot een voorstudie met betrekking tot het aanstellen van een consultant ter ondersteuning van het Vlaams Supercomputer Centrum aangaande het uitwerken van een lange termijnfinancieringsplan voor de periode 20232027. De offerte van Technopolis kwam als beste uit de gunning.

Het tweede deel bevat een uitwerking van de financiële en inhoudelijke scenario’s voor de periode 2023-2027. Er werden drie scenario’s uitgewerkt (in volgorde van toenemend ambitieniveau): Ê Scenario A: VSC als Tier-1 dienstverlenende organisatie voor Vlaanderen Ê Scenario B: VSC als Tier-1 & Tier-2 dienstenorganisatie voor Vlaanderen Ê Scenario C: VSC als leidend en innovatief HPC-centrum Tabel 5. Toekomstscenario’s van het VSC. Zie pagina 81

In een eerste deel van het rapport wordt de context van het VSC, ‘as is’ situatie waarbinnen de huidige Tier-1 financiering opereert, beschreven. Technopolis baseerde zich hiervoor op het reviewen van documenten, interviews met VSC stakeholders en gebruikers, een internationale benchmark met drie andere supercomputing centers, een SWOT-analyse en input van een expertenpanel dat specifiek voor deze opdracht werd opgezet. Afbeelding 3. Technopolis rapport 1 en 2

Tabel 3. Overzicht van het VSC “as is” in het Technopolis rapport. Zie pagina 78

Tabel 4. SWOT-analyse van VSC in het Technopolis rapport. Zie pagina 80

Technopolis adviseerde op basis van hun studie om te opteren voor scenario B terwijl scenario C in gedachten moest worden gehouden als einddoel voor het VSC over meer dan 5 jaar. De HEC-raad zal in 2022 een toekomstplan voor het VSC verder uitwerken waarbij de aanbevelingen van Technopolis in overweging zullen genomen worden.

14 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 15

Het Tier-1 supercomputerplatform Het Tier-1 SaaS project dat werd opgestart in maart 2018, leverde in 2021 verscheidene resultaten en infrastructuur componenten op, in overeenstemming met het investeringsplan.

Activiteiten uitgevoerd in 2021 In 2021 lag de focus op de versterking van de Compute-component en de verdere uitbouw van de Data-component en de Cloud-component. De volgende acties werden in 2021 uitgevoerd voor de verschillende componenten van de Tier-1 SaaS: z de installatie van het volgende systeem voor de Tier-1 Compute-component (Hortense), z de start van de pilootfase van Hortense,

Compute Voor de Tier-1 Compute-component werden in 2021 de volgende taken uitgevoerd:

Installatie Tier-1c (HORTENSE) De eerste fase van het nieuw Tier-1 Compute-component Tier-1c werd besteld op 30 april 2020. In de oorspronkelijke planning zou de pilootfase op de Hortense Tier-1 Compute-component eind 2020 van start gaan. De reisbeperkingen ten gevolge van de COVID-19 pandemie hebben evenwel voor ernstige vertragingen gezorgd. Het systeem werd geïnstalleerd tussen april en oktober 2021 en in november 2021 werd het systeem opengesteld voor gebruikers in de pilootfase. Een uitbreiding van het systeem is gepland voor 2022. Deze uitbreiding zal de totale rekencapaciteit meer dan verdubbelen.

z de verdere implementatie van de piloot-infrastructuur voor de Data-component, z de start van de aankoopprocedure voor de storage backend voor de productie omgeving, z de start van de productiefase van de Cloud-component.

Management TOT Exploitatie Tier-1b Aankoop Tier-1c Installatie Tier-1c

Tier-1 Data piloot Aankoop Globus online Tier-1 Data storage aankoop

Redundancie VSC netwerk Uitbreiding account portal

Exploitatie Tier-1 Cloud

Contract ISO27001 ISMS WP3 Ontwikkeling project portal

Afbeelding 4. Tier-1 actieplan

Verder werden ook een aantal taken uitgevoerd met betrekking tot de integratie van de verschillende Tier-1 SaaS-componenten: z de aankoop en installatie van de nodige componenten om het VSC Belnet netwerk in de Gent en Leuven sites redundant te maken, z de voorbereiding van het nieuwe contract voor de verdere opbouw van het ISO 27001-traject, z de aanvang van de uitbreiding van de login-mogelijkheden van de VSC account page, z de ontwikkeling van een nieuwe project portal en z de voorbereiding van een projectvoorstel voor een Europees project S4/EESSI.

Afbeelding 5. Links, artwork afbeelding van “Hortense”. Rechts, Tier-1 “Hortense” systeem

De configuratie van deze eerste fase omvat de volgende elementen: z een partitie met 294 nodes, elk uitgerust met twee 64-core AMD Rome 7H12 CPU’s en 256 GB RAM, z een partitie met 42 nodes, elk uitgerust met twee 64-core AMD Rome 7H12 CPU’s en 512 GB RAM, z een accelerator partitie met 20 nodes, elk met twee 24-core AMD Rome 7402 CPU’s, 256 GB RAM, 4 NVIDIA Ampère A100 GPU’s met elk 40 GB on-board RAM, z een multi-tier opslageenheid met ruim 3 PB aan bruikbare opslagruimte met een gedeeld bestandssysteem op basis van Lustre, z een InfiniBand HDR100 interconnect tussen alle nodes en opslageenheid.

16 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 17

In totaal bevat deze cluster dus meer dan 44.000 CPU cores, 80 GPU’s en bijna 100 TB aan RAM. Daarmee wordt dit de grootste en snelste supercomputer van Vlaanderen, met een geschatte piekperformantie van 3.3 petaflops. Als naam voor deze Tier-1 Compute-component werd gekozen voor “Hortense”, een verwijzing naar Nicole-Reine Lepaute – Hortense was een bijnaam – geboren in 1723. Zij was één van de eerste menselijke computers (‘calculatrice’), die verscheidene zware astronomische berekeningen uitvoerde. Eén van haar grootste prestaties was een nauwkeuriger voorspelling van de komst van de komeet van Halley. Helaas zegt haar verhaal ook veel over de historische onderwaardering van vrouwen in de wetenschap. Haar belangrijke bijdrage aan het berekenen van de baan van de komeet van Halley werd in de eerste publicatie ‘vergeten’. Ter gelegenheid van de inproductiestelling van Tier-1 Compute Hortense werd artwork ontwikkeld door https://www.meneerheirman.com. Dit artwork bevat verscheidene tongue-incheek verwijzingen, onder meer naar het leven en werk van Nicole-Reine Lepaute: een telraam, een spurtende komeet van Halley, een horlogeketting vermits Nicole-Reine haar echtgenoot uurwerkmaker af en toe hielp met bouwen en berekenen, Hortensia’s die volgens een urban legend zijn vernoemd naar Nicole-Reine, maar ook een subtiele verwijzing naar de effectieve node naam van de Tier-1 Compute infrastructuur, dodrio.

(HORTENSE) pilootfase In november 2021 startte de pilootfase van Hortense. Sindsdien hebben in totaal 35 projecten ongeveer 2 M core-uur en 40 k GPU-uur verbruikt. Daarvan waren er 9 large scale-projecten. 22 projecten waren reguliere Tier-1-projecten ingediend op de 2021/01, 2021/02 en 2021/03 cutoffs die tijd op Hortense kregen om de transitie van BrENIAC naar Hortense te kunnen voorbereiden. 7 andere waren industriële projecten. Verder werden er 29 Starting Grants toegekend.

Afbeelding 7. pilootgebruik op Tier-1 Compute Hortense in 2021 - GPU-gebruik

Om de hardware en software implementatie van Tier-1 Hortense uitvoerig te testen, werd binnen de pilootfase een ‘large-scale’ call gelanceerd voor power users: gebruikers met uitgebreide expertise in het gebruik van HPC en/of GPU’s, die op korte termijn een zware workflow konden draaien om compute nodes, storage, netwerk, etc. maximaal te stress-testen. In totaal werden 9 projectvoorstellen ontvangen. Deze large-scale piloot projecten liepen tot eind maart 2022. Title

Applicant

Scientific domain

CPU hours allocated

Black Hole Accretion from First Principles with GRPIC Kinetic Simulations of Magnetorotational Turbulence Direct Numerical Simulations of stably stratified channel flow with spanwise heterogeneous surface temperature Modeling flexo-electric properties from first principles methods Atomic relaxation, electronic structure and magnetic order in U3O7 Large-scale CFD simulations with implicit solvers in academic geometries Gromacs_PilotHortense

Bart Ripperda (KU Leuven) Fabio Bacchini (KU Leuven) Thijs Bon (KU Leuven)

Astronomy, 7.225.344 astrophysics, other Astronomy, 12.800.000 astrophysics, other Mechanical engineering 9.830.400

Tribhuwan Pandey (UAntwerpen) Rolando Saniz (UAntwerpen) Joris Degroote (UGent)

Condensed matter and 4.608.000 optical physics Materials Science 6.021.120

Mats Denayer (VUB)

Learning Intrinsically Motivated Options in the Arcade Learning Environment Spoken digit classification using skyrmion reservoir computing

Kevin Mets (UAntwerpen) Jonathan Leliaert (UGent)

Theoretical chemistry, quantum chemistry Computer science, other Condensed matter and optical physics

Mechanical engineering 3.096.576

Tabel 6. Pilootprojectvoorstellen op Tier-1 Hortense

Afbeelding 6. pilootgebruik op Tier-1 Compute Hortense in 2021 - CPU-gebruik

GPU hours allocated

48.000 16.800 30.000

18 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 19

Exploitatie Tier-1b (BrENIAC) Er was in 2021 over het algemeen een goede beschikbaarheid van de Tier-1b Compute infrastructuur BrENIAC, met een gemiddelde uptime boven de 95%. Er waren echter ook momenten met een significante downtime: de eerste week van januari werd het systeem gesloten omwille van problemen met enkele slecht werkende InfiniBand-kabels die ervoor zorgden dat de scratch storage instabiel was. Bovendien was er ook een moment met gereduceerde bezetting omwille van onderhoudswerken in de UGent VSC hub in augustus. BrENIAC was weliswaar volledig beschikbaar tijdens deze periode maar kon tijdelijk niet worden gebruikt door de gebruikers van deze hub. Tenslotte werden eind november de projecten van de cutoff van februari 2021 beëindigd. De piloot-fase van Hortense startte in november en er waren slechts enkele projecten van de cutoff van oktober 2021 die rekentijd op BrENIAC kregen. Het beperkte aantal projecten zorgde voor een verminderde bezetting van BrENIAC, nodig voor de voorbereiding van de stopzetting van de Broadwell nodes van BrENIAC in januari 2022.

Gebruikte BrENIAC-broadwell 450.000 &"!!!!

&!!!!! 400.000 %"!!!! 350.000 %!!!!! 300.000 $"!!!! 250.000 $!!!!! 200.000 #"!!!! 150.000 #!!!!! 100.000 "!!!! 50.000

0! $!#'(!'$ 2016-06

!#'(#$ 2016-12

$!#)(!'$ 2017-06

$!#+(!'$ 2019-06

!#+(#$ 2019-12

$!$!(!'$ 2020-06

!$!(#$ 2020-12

$!$#(!'$ 2021-06

!$#(#$ 2021-12

Tier-1 toekennen van rekentijd Onderzoekers kunnen op verschillende manieren rekentijd bekomen op Tier-1. Daarbij wordt een onderscheid gemaakt tussen academische en niet-academische gebruikers.

500.000 500000 400.000 400000

Voor onderzoekers verbonden aan een universiteit, een strategische onderzoeksinstelling (SOC) of een gelijkaardige onderzoeksinstelling bestaan de volgende toegangskanalen:

300.000 300000 200.000 200000

Starting Grant

100.000 100000

z Maximaal 500.000 CPU-core-uren en 1.000 GPU-uren rekentijd, jan

feb

mar

apr

mei

jun

jul

aug

sep

okt

nov

dec

101 20 21 -0 201 20 21 -0 301 20 21 -0 401 20 21 -0 501 20 21 -0 601 20 21 -0 701 20 21 -0 801 20 21 -0 901 20 21 -1 001 20 21 -1 101 20 21 -1 201

20 21 -0

!#*(#$ 2018-12

Afbeelding 9. Overzicht bezetting BrENIAC-broadwell nodes

Gebruikte CPU uren Tier-1

600.000 600000

$!#*(!'$ 2018-06

broadwell

Gebruikte CPU uren Tier-1 700.000 700000

!#)(#$ 2017-12

breniac broadwell

breniac skylake

productie capaciteit

piloot capaciteit

Afbeelding 8. Tier-1 bezetting in 2021

breniac broadwell

breniac skylake

productie capaci teit

piloot capaciteit

Tier-1b stopzetten fase 1 De eerste fase van de Tier-1b BrENIAC, de 580 Intel Broadwell nodes, geïnstalleerd in maart 2016, werd in januari 2022 stopgezet. Deze nodes werden een jaar langer in gebruik gehouden dan oorspronkelijk gepland om extra rekentijd te kunnen aanbieden in afwachting van de ingebruikname van Tier-1c Hortense, waarvan de installatie vertraging opliep door de COVID-19 pandemie. In de bijna 6 jaar van dienst werden met de fase 1 van BrENIAC meer dan 800.000 node-dagen rekentijd gebruikt. Gemiddeld waren de Broadwell nodes voor 75% bezet, met piekmomenten van 98%.

z Kan op elk ogenblik aangevraagd worden, met snelle doorlooptijd, z Om Tier-1 uit te proberen en benchmarks of softwaretests uit te voeren, als voorbereiding van een volwaardige projectaanvraag, z Maximaal 4 maanden, z Gratis.

20 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 21

Er zijn in 2021 in totaal 46 Starting Grants toegekend, waarvan 15 in Technologie, 9 in Chemie, 8 in Life sciences, 4 in Astronomie en Astrofysica, 3 in Moleculaire Modellering, 2 in Wiskunde, 1 in Totaal per domain wetenschappelijk domain Fysica, in Aardwetenschappen en 1 in Psychologie. Totaal 1StartingGrants perStartingGrants wetenschappelijk 2%

2% 2% 2% 4%

33%

17%

20%

z Projectaanvragen beschrijven:

Mathematics

Material sci ence

Physics

z Gratis

Earth sciences

Psychology

Voor het beoordelen van de Tier-1 projectaanvragen werd een Tier-1 Allocation Board ingesteld. Hierin zetelen vijf buitenlandse deskundigen:

Technology

Chemistry

Life sci ences

Astronomy and astrophysics Astronomy and astrophysics Mol ecular Modelling Mol ecular Modelling

z Voor allocaties van 5 k core-uur en/of 1 k GPU-uur tot 5 M core-uur en/of 25 k GPU-uur het kaderend wetenschappelijk project, het consortium van gebruikers dat de berekeningen zal uitvoeren, het financierend kanaal, de rekentaken die zullen worden uitgevoerd (technisch), de software die zal worden aangewend, desgevallend, welke wetenschappelijke resultaten werden bekomen met vorige Tier-1 project allocaties. z Projectaanvragen kunnen steeds ingediend worden, maar worden op 3 momenten in het jaar geëvalueerd door de Tier-1 Allocation Board

2% 2%

Project access

} } } } } }

Isabelle Dupays (IDRIS, Frankrijk) Afbeelding 10. Totaal Starting Grants per wetenschappelijk domein Gavin Pringle (EPCC, UK)

Staring Grantszag pererinstelling De verdeling per universiteit als volgt uit: KU Leuven: 15, UGent: 14, VUB: 11, UAntwerpen: 2. Staring Grants per instelling Verder kregen ook Starting Grants: VLIZ (1), KMS (1), Aelintx (1) en VMM (1). 2%

4% 2%

Walter Lioen, voorzitter (SURFsara, Nederland)

33%

starter/2021 KU Leuven starter/2021 KU Leuven starter/2021 UGent UGent starter/2021 UGent UGent

starter/2021 VUB VUB starter/2021 VUB VUB starter/2021 Others Aelintx

starter/2021 Others Aelintx

24%

starter/2021 Others External

starter/2021 Others KMS

starter/2021 Others VMM

starter/2021 Others VMM starter/2021 UAntwerpen UAntwerpen starter/2021 UAntwerpen UAntwerpen 31%

31%

Nicole Audiffren (CINES, Frankrijk)

Tier-1 Allocation Board

Afbeelding 11. Staring Grants per instelling Robin Richardson (UCL IRIS, UK)

22 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 23

Het FWO staat in voor het secretariaat. De HPC-coördinatoren van de Vlaamse universiteiten worden als waarnemers uitgenodigd om aan de vergaderingen van de Tier-1 Allocation Board deel te nemen.

Collaborative Grant

Bovengenoemde commissie evalueert de aanvragen en beslist of de gevraagde rekentijd geheel, gedeeltelijk of helemaal niet toegekend wordt.

z Wordt gevraagd door een consortium van onderzoeksgroepen minstens 3 verschillende publieke onderzoeksinstellingen met een goed gedefinieerd gemeenschappelijk onderzoeksdoel.

In drie ronden zijn er in 2021 in totaal 71 projecten ingediend voor een totaal van 299.551 nodedagen. 65 projecten werden toegekend voor een totaal van 282.836 node-dagen. In de eerste twee projectronden die tijdens 2021 zijn geëindigd (2021/01 en 2021/02), werd 92% en 81% van de toegekende tijd opgebruikt. Voor laatste projectronde (2021/03) werd maar 22% van de toegekende tijd opgebruikt omdat de meeste projecten van deze projectronde ook rekentijd kregen op het nieuwe Tier-1c systeem, Hortense, om de migratie voor te bereiden. Net zoals bij HPC-clusters in het buitenland zijn scheikunde, natuurkunde en de ingenieursdomeinen goed vertegenwoordigd.

z Voor allocaties van maximum 10 M core-hours en/of 75 k GPU-hours. z Het project heeft een looptijd van 12 maanden z Kan jaarlijks verlengd worden Voor onderzoekers uit de industrie zijn er eveneens twee toegangskanalen om Tier-1 rekentijd te bekomen:

Exploratory Access

f 33,33 % Moleculaire Modellering

f 8,89 % Fysica

z Maximaal 500 node-dagen rekentijd

f 20,00 % Technologie

f 4,44 % Aardwetenschappen

z Om de Tier-1 gebruikersomgeving uit te proberen, benchmarks of softwaretests uit te voeren

f 2,22 % Life sciences

z Gratis

f 2,22 % Psychologie

Full Access

f 15,56 Astronomie en Astrofysica Projecten per%wetenschapppelijk domain f 13,33 % Chemie

Projecten per wetenschapppelijk domain 5%

Collaborative Grants hebben als doel de samenwerking te stimuleren tussen onderzoeksgroepen over de instellingsgrenzen heen.

z Bedrijven kunnen een overeenkomst sluiten met de Tier-1 huisvestende instelling en FWO om rekentijd af te nemen

2% 2% 5%

2% 2%

Mol ecular Modelling

9% 33% 33%

Technology

Mol ecular Modelling Technology

Astronomy and astrophysics Chemistry

13%

Astronomy and astrophysics Chemistry

Physics

Earth sciences

Life sci ences

Life sci ences Psychology

Psychology

16% 20%

6% 20%

Afbeelding 12. Verdeling toegekende projecten in 2021 Tier-1 per wetenschappelijk domein

In de bijlage is een overzichtslijst te vinden van de toegekende projecttoekenningen in 2021.

z Full cost-aanrekening van verbruikte rekentijd en gebruikte storage z De tarieven waaraan industriële gebruikers Tier-1 rekentijd kunnen kopen, zijn weergegeven op https:// www.vscentrum.be/getaccess z Tier-1 Compute BrENIAC: 13 euro per CPU compute node per dag

Afbeelding 13. “How to Access” pagina

z Tier-1 Compute Hortense: 19 euro per CPU compute node per dag, 94 euro per GPU compute node per dag Daarnaast kunnen onderzoekers uit de industrie ook toegang krijgen tot Tier-1 in het kader van een onderzoeksproject in samenwerking met een publieke Vlaamse onderzoeksinstelling.

24 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 25

Data De Tier-1 Data-component zorgt ervoor dat onderzoeksdata van VSC-gebruikers tijdens de actieve fase van de data levenscyclus dicht bij de Compute- en/of Cloud-infrastructuur blijven. De actieve fase omvat het aanmaken, wijzigen, aanvullen, en gebruiken van de gegevens gedurende de looptijd van het project (typisch 2 tot 4 jaar). Tegelijkertijd wordt het makkelijker om grote datasets van en naar VSC-infrastructuur te migreren. In 2021 lag de focus van de activiteiten voor de Tier-1 Data-component op de verdere opbouw van de piloot-infrastructuur en de aankoopprocedure voor de storage backend voor de productieomgeving. De KU Leuven keurde op 7 juni 2021 een opdracht goed voor levering, installatie, onderhoud en consultancy van een data-platform voor onderzoeksdata en voor het sluiten van een raamovereenkomst voor bijkomende leveringen en diensten na installatie van het data-platform. In het voorjaar bereidde men het bestek voor voor het data-platform. Het nieuw storage systeem zal een minimaal bruikbare capaciteit van 10 PB (bruto maal 2 voor redundantie in twee datacenters). Het systeem zal schaalbaar zijn en moet toegankelijk zijn met meerdere protocollen (POSIX, S3, ...). Het aanbieden van een mechanisme voor encryptie at rest, voor snapshots, of versioning wordt als een toegevoegde waarde beschouwd. April 2022 is de beoogde afrondingsperiode voor de aanbestedingsprocedure.

In 2021 hebben vijf pilootprojecten het Tier-1 Data-platform getest: z Storage4Climate: een samenwerkingsproject tussen 5 onderzoeksgroepen van drie Vlaamse universiteiten (UGent, VUB en KU Leuven) rond klimaatverandering. z CLARIAH-VL: een International Research Infrastructure (IRI) gefinancierd door het FWO met als doel het gebruik van geavanceerde digitale tools te bevorderen in het domein van geestes- en sociale wetenschappen. z VIB-Galaxy: Dit project onderzoekt de mogelijkheid om de Tier-1 Data-component te gebruiken als storage backend voor de Galaxy portal (usegalaxy.be) die beheerd wordt door VIB en in de Tier-1 Cloud-component is gehost. z VIB-ASAP: Het ASAP-project (Aligning Science Across Parkinson’s) onderzoekt hoe erfelijke en nieuwverworven DNA-varianten het risico op het ontwikkelen van ziekte van Parkinson verhogen. De Tier-1 Data-component zal hier dienen als centrale opslag van genomic datasets die zowel met de Tier-1 Compute als de Tier-2 systemen geanalyseerd worden. z FlandersMake: is het strategisch onderzoekscentrum voor de maakindustrie. Dit project zal beelden en metadata van het 3D-printen van metalen voorwerpen opslaan in de Tier-1 Datacomponent. Die datasets zouden dan vanuit verschillende HPC-systemen gebruikt worden om Machine Learning modellen te trainen om fouten in productieproces vroegtijdig te ontdekken. De vijf piloten gebruiken in totaal 1,2 PB wat bijna 77% is van de totaal beschikbare capaciteit in de piloot infrastructuur met een totaal van 58 actieve gebruikers. Er zijn meer dan 12 miljoen data objecten opgeslagen waaronder 81% redelijk grote files (tussen 1 MB en 100 MB). Die objecten hebben meer dan 1 miljoen metadata-attributen, waarvan ongeveer 300 overeenkomen met unieke attribuutnamen.

Jan-Apr 2021

Mar 2021 RFI sessions

Jun 2021

#files

Candidate selection Millions

Architecture definition

8 7,107611 7

Requirements

• Min. 2x10PB (replication 2DC) • Scalable (hardware & filesystem) • Multiprotocol (POSIX, S3, others…) • Data encryption (HW or SW) • Snapshot/versioning • 5 years support

2,971375

Apr 2022 Award

Dec 2021

RFP Storage infrastructure

0,881005

0,57878 0,000031

0,000737

>1TB

>100GB

0,229495

0,133195 >1 GB

>100MB

>10MB

>1MB

>100KB

>10KB

0,536649

< 10KB

Afbeelding 15. Overzicht van aantal files op het Tier-1 dataplatform

Jul-Sep 2022 Installation storage

Afbeelding 14. Tier-1 data acquisition timeline

Een belangrijke taak van het Tier-1 Data team tijdens 2021 was ook de ondersteuning van de gebruikers. Er werden een aantal nieuwe functionaliteiten geïmplementeerd en getest. Ook werden een aantal processen geautomatiseerd. Daarnaast werd er trainingsmateriaal en gedetailleerde documentatie over het gebruik van de Tier-1 Data-component beschikbaar gemaakt. In totaal werden 58 tickets opgelost in het centrale Tier-1 Data support-systeem.

26 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 27

Aankoop Globus online subscriptie In het kader van het Tier-1 SaaS project besliste het VSC om een High Assurance Globus subscriptie voor 3 jaar aan te kopen voor alle VSC consortiumpartners (Associatie Universiteit & Hogescholen Antwerpen, Universitaire Associatie Brussel, Associatie Universiteit Gent, Associatie KU Leuven en Associatie Universiteit-Hogescholen Limburg). Bovendien werden ook subscripties voor 3 jaar gekocht voor 3 Globus storage connectors: iRODS connector, OneDrive connector en Google Drive connector. De aankoopprocedure startte in het voorjaar 2021 en werd uitgevoerd door de KU Leuven. Het contract met de verkoper van Globus (University of Chicago) namens alle consortiumpartners werd ondertekend op 22 maart 2022. De uitrol van de Globuslicenties voor alle partners zal in april 2022 starten. Globus online (www.globus.org) is een softwareoplossing om gegevens te kunnen uitwisselen op een veilige, snelle en betrouwbare manier tussen verschillende opslagoplossingen. De Globus software biedt de volgende functionaliteiten aan: z Geavanceerd identiteitsbeheer, eenmalige aanmelding en autorisatiemogelijkheden z Parallelle gegevensoverdracht op basis van het GridFTPprotocol met automatisch foutherstelmechanisme. z Meerdere opslagconnectoren om diverse opslagoplossingen online beschikbaar te maken voor Globus. Onder andere: iRODS-connector, OneDrive-connector en Google drive-connector.

Afbeelding 16. Globus website

z Creëren van gedeelde collecties met toegangscontrole om gegevens te delen met andere gebruikers en groepen met zowel medewerkers binnen dezelfde instelling als van externe instellingen. z High Assurance-configuratie voor gevoelige gegevens, waaronder: } Extra authenticatiecontroles voor gegevenstoegang } Isolatie van applicaties en apparaten } Geforceerde encryptie bij overdracht } Audit-login De Globus online software zal gebruikt worden om de functionaliteiten van het Tier-1 Dataplatform uit te breiden. Dankzij de iRODS Globus connector zal de Tier-1 Data-component ook toegankelijk zijn vanuit alle Globus interfaces (Globus portal, CLI en API). Dit zal onderzoekers in staat stellen om op een betrouwbare manier data te kunnen uitwisselen tussen bijvoorbeeld de scratch storage van de Tier-1 en Tier-2 HPC systemen en het Tier-1 Data-platform. Globus biedt ook de optie om recurrente transfers te kunnen programmeren of data tussen twee storage systemen te synchroniseren.

Afbeelding 17. Tier-1 Data: Globus online

Tenslotte kunnen onderzoekers datasets die via Globus online als endpoint zichtbaar zijn (bijv. Tier-1 Data of Tier-1 Compute scratch), gemakkelijk delen met externe onderzoekers die geen instellings- of VSC-account hebben (Globus Guest collections subscription).

28 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Cloud Onderzoekers die de VSC Tier-1 HPC services gebruiken, hebben ook vaak nood aan een flexibelere omgeving waarin ze kunnen gebruikmaken van software of services die niet geschikt zijn voor een grootschalig HPC-systeem, zoals op maat gemaakte softwarepakketten, interactieve dataanalyses, workflow portals, data-visualisatie en specifieke pre- en postprocessing-taken. De Tier-1 Cloud-component lenigt deze nood door een Cloud service gebaseerd op OpenStack te implementeren die ‘on demand’ resources aanbiedt in een meer flexibele en cloud-achtige manier. De Tier-1 Cloud-component biedt Infrastructure as a Service (IaaS) capaciteiten om resources in te zetten zoals virtual machines (VMs), storage of netwerk met volledige controle door de gebruikers van deze resources. Tegelijk wordt gewerkt aan een uitbreiding van verscheidene hoog niveau services die worden aangeboden via een ready-to-use cataloog van templates, die het eenvoudig maken om databanken of web servers met slechts een paar muisklikken op te zetten. Voor de operationele en infrastructuuraspecten was 2021 een goed voorbeeld van een productiejaar, met een aantal aanpassingen aan de omgeving, grotendeels transparant voor de gebruiker; en ook met een investering die wel merkbaar zal zijn voor de gebruikers.

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 29

Met de VSC Tier-1 Cloud officieel in productie, waren er in 2021 reeds 3 projectoproepen, met 14 aangevraagde en goedgekeurde project aanvragen (inclusief “regularisatie” van de pilootprojecten). Bij de laatste oproep van 2021 was er enkel een Starting Grant aangevraagd (en goedgekeurd). Het is duidelijk dat er blijvende aandacht nodig is om het gebruik van de Cloud-component te promoten. In deze oproepen werd ook duidelijk dat naast grotere projecten zoals UseGalaxy (VIB) en Lifewatch Data Cloud (VLIZ), er ook nood is aan een oplossing voor kleinschaligere projecten.

Access to Data products Scripts Metadata Analytical tools Cloud resources

Concreet werd een nieuw monitoring systeem op basis van STF 1.3 uitgerold (inclusief functionele cloud tests). Er werd ook een nieuw dashboard opgezet voor de Ceph storage backend van de cloud omgeving. De volledige omgeving werd up-to-date gehouden (laatste productie omgeving RHOSP 16.1.6), en in de testomgeving werd ook de upgrade naar RHOSP 16.2 en RHEL 8.4 voorbereid (in productie in februari 2022). Eind 2021 werden ook 4 nieuwe Ceph storage servers aangekocht met als specifiek doel om I/O intensieve lasten mogelijk te maken (ideaal voor bijvoorbeeld databases). Deze storage is begin februari 2022 ook in gebruik genomen. Aan de gebruikerszijde was er eerst en vooral de lancering van de VSC cloud op 20 mei 2021 tijdens een 2 uur durend online event (https://www.vscentrum.be/events/vsc-tier-1-cloud-launch-event). Er waren 161 deelnemers.

Afbeelding 19. Lifewatch Data Cloud

Afbeelding 18. Illustratie van Tier-1 Cloud Launch Event

30 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 31

Social media and news outlets as a source for understanding the spatial distribution and intensity of natural hazard events on a global scale

Thimm Zwiener VUB - CGIS research group, Department of Geography

Adrian Diaz en Wim Vranken VUB - Bio2Byte / DBIT

Public cloud resource

Server

Thimm Zwiener VUB - CGIS research group, Department of Geography

b2bTools: online predictions for protein biophysical features and their conservation

UniProtI D

Inputq uery Sequence

Output MSA

Visualisation

Programmatic access

APIs Containers/Pods Generate predictions

Users

Biophysicala lignments

Localo rf ramework deployment

Afbeelding 21. Nog een voorbeeld van een workflow op het Tier-1 Cloud platform.

Afbeelding 20. Voorbeeld van een workflow op het Tier-1 Cloud platform

Dit betreft een kleinschalig, kortlopend project (12 maand) waarbij de flexibiliteit van de Tier1 Cloud naar voren komt. Het project implementeert een pipeline voor het downloaden van berichten uit de (sociale) media, indexeren en verrijken met geospatiale coördinaten en zo een doorzoekbare database op te bouwen. De flexibiliteit van het Tier-1 Cloud platform biedt hier duidelijk voordelen, juist omdat een tailor-made oplossing voor het onderzoeksproject mogelijk is. .

Dit project is een typisch cloud-project waarbij het de bedoeling is om een webinterface aan te bieden aan een (wereldwijde) gebruikersgroep. Een initiële (piloot) setup bestaat reeds op een commerciële cloud provider op een enkele VM, maar voor een volgende fase wordt het ganse achterliggende model in kleinere componenten verspreid over meerdere VMs zodat in volgende fase de opschaling en robuustheid vlotter en beter kan verlopen. Er werden in 2021 ook 51 support tickets afgehandeld. Tevens werd de helpdesk service gemigreerd naar een ander, gecentraliseerd VSC platform onder beheer van UGent (zie sectie gebruikersondersteuning).

32 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Integratie In 2021 werd ook een aantal aspecten rond integratie uitgewerkt. Eerst werd het huidige contract met Belnet uitgebreid om redundante aansluitingen te voorzien voor de UGent en KU Leuven sites waar de Tier-1 SaaS infrastructuur (Compute, Data en Cloud) wordt gehost. De installatie en de configuratie van de twee extra netwerk aansluitingen werd eind 2021 uitgevoerd. Verder werd er gewerkt aan een aankoopprocedure om een consulting opdracht af te sluiten met het consultancybedrijf Deloitte. Bedoeling is om advies te krijgen omtrent het behalen van een ISO 27001 certificaat voor de Tier-1 Compute infrastructuur. In 2020 werden de eerste stappen van dit traject (WP1 en WP2) uitgevoerd. Die nieuwe opdracht bouwt voort op de reeds uitgevoerde stappen WP1 en WP2 (en focust op de volgende Werkpakketten (WP3, WP4 en WP5). Het is gepland om het werk voor WP3 te starten vanaf juni 2022.

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 33

Tier-2 infrastructuur

In deze sectie wordt een overzicht gegeven van de Tier-2 infrastructuur die binnen de verschillende Vlaamse universiteiten beschikbaar is. Het gebruik ervan wordt eveneens geïllustreerd.

Beschikbare infrastructuur f KU Leuven en Universiteit Hasselt Voor de Tier-2 infrastructuur werken de KU Leuven en de UHasselt samen. De infrastructuur bestaat uit: z 1 cluster, 6 partities z 969 TF

Tenslotte werd ook een aantal projecten gestart om het Tier-1 platform gebruiksvriendelijker en toegankelijker te kunnen maken:

z 13.440 CPU cores

z Een haalbaarheidsstudie en implementatie voor ondersteuning externe IdPs: er werd een vooronderzoek uitgevoerd om de haalbaarheid van het toevoegen van externe Identity Providers (IdPs) aan de VSC account-pagina (AP) te analyseren. Om de afhankelijkheid van zgn. externe instellingsaccounts (een obstakel voor industrie en andere onderzoeksinstellingen) te verminderen of zelfs weg te werken, zal bekeken worden hoe de AP kan gekoppeld worden met IdPs die geen deel uitmaken van de Belnet federatie (bijv. Azure AD of lokale authenticatie mechanismen).

z 96 GPU devices / 368.640 cuda cores

z 76 TB geheugen

z Ontwikkeling project portal: er werden de eerste stappen gezet voor het maken van een centrale projectportaalsite die toelaat om projecten en Starting Grants te beheren en automatiseren. Dit vereiste vroeger veel manuele stappen (bevoegde personen kunnen nieuwe projecten of Starting Grants aanmaken, of toegewezen resources aanpassen; een REST API wordt voorzien zodat de componenten m.b.v. scripts de nodige aanpassingen kunnen doen; en de gebruikers zelf kunnen de staat van hun project opvolgen).

Afbeelding 22. Tier-2 infrastructuur KU Leuven – UHasselt

34 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 35

In 2021 werd het laatste deel van ThinKing uitgefaseerd. Deze cluster werd in 2014 voor het eerst in gebruik genomen, de laatste uitbreiding was in 2016. Dit heeft onze Genius Tier-2 cluster omgeving voorlopig teruggebracht op 10 K cores. Een aankoopprocedure voor een nieuwe cluster werd in 2021 uitgevoerd. De nieuwe machine zal in 2022 operationeel worden en voor een verdubbeling van de rekencapaciteit zorgen.

In de loop van 2021 werden volgende infrastructuur wijzigingen doorgevoerd:

In april 2021 is een nieuw parallel filesysteem in gebruik genomen. De netto capaciteit (3 PB) is 3 keer groter dan voorheen. De onderliggende technologie is nu Lustre. Met de verhoging van capaciteit en performantie is het systeem klaar om ook door de nieuwe cluster gebruikt te worden..

z Nieuwe GPU cluster accelgor werd geïnstalleerd en geïntroduceerd bij piloot gebruikers voor tests.

f Universiteit Gent z De Tier-2 infrastructuur van UGent is opgebouwd uit verschillende clusters, elk met specifieke kenmerken: z 7 clusters in productie

z Cluster phanpy werd gedecommissioneerd. z Cluster doduo werd in productie genomen. Dit is een AMD-gebaseerde CPU cluster met een HDR-100 InfiniBand netwerk dat MPI jobs mogelijk maakt.

z Nieuwe job command wrappers werden geïntroduceerd (qsub, qstat, qdel, etc.) op alle Tier-2 clusters als frontend voor het Slurm scheduling systeem. Deze job wrappers volgen grotendeels de manier waarop jobs worden behandeld door het Torque PBS systeem (dat eerder reeds werd verlaten), maar deze manier van werken wordt veelvuldig gebruikt door gebruikers en is uitvoerig gedocumenteerd in de HPC user manual.

f Universiteit Antwerpen

z 885 TF CPU, 300 TF GPU

Begin januari 2021 werd de Vaughan cluster (2020) uitgebreid met 48 extra nodes, en later op het jaar ook nog met 3 accelerator nodes.

z 21.792 CPU cores, 25.600 GPU Tensorcores

De Tier-2 infrastructuur bestaat uit de clusters Leibniz en Vaughan:

z 82 TB bruikbaar geheugen

z 540 TF CPU, 106 TF GPU z 14.464 CPU cores

Kirlia Cluster IIntel Xeon Gold 6240 (Cascade Lake) 16 node count 36 cores 512 core count 738 GB RAM/node local disk 1.6 TB NVMe HDR100 InfiniBand network GPFS filesystem

z 7 accelerator nodes (een node met Xeon Phi 7720P, een node met NEC SX-Aurora TSUBASA 10B, twee nodes met 2 Tesla P100, een node met 4 NVIDIA A100, twee nodes met 2 AMD MI100) z 65 TB geheugen Doduo Cluster AMD Epyc 7552 128 node count 96 cores 12288 core count 250 GB RAM/node local disk 180 GB SSD HDR100 network GPFS filesystem

Swalot Cluster Intel Xeon E5-2660v3 (Haswell-EP) 128 node count 20 cores 2560 core count 128 GB RAM/node local disk 1 TB FDR network GPFS filesystem Skitty Cluster Intel Xeon Gold 6140 (Skylake) 72 node count 36 cores 2592 core count 192 GB RAM/node local disk 240 SSD/1 TB EDR network GPFS filesystem

Leibniz Cluster Intel Xeon E5-2680v4 (Broadwell) 154 node count 28 cores 4312 core count 146*128 GB RAM/node 8*256 GB RAM/node local disk 120 GB SSD EDR network BeeGFS filesystem 4 NVIDIA Tesla P100 16GB 2 NEC SX-Aurora TSUBASA 10B 1 Xeon Phi 7220P

Victini Cluster Intel Xeon Gold 6140 (Skylake) 96 node count 36 cores 3456 core count 96 GB RAM/node local disk 240 SSD/1 TB 10GBE network GPFS filesystem

Joltik Cluster Intel Xeon Gold 6242 (Cascade Lake) 10 node count 32 cores 320 core count 256 GB RAM/node local disk 800 GB SSD double EDR network GPFS filesystem 4 x Volta V100 NVIDIA accelerators (32 GB GPU memory)

Vaughan Cluster AMD Epyc 7452 (Rome) 152 node count 64 cores 9728 core count 152*256 GB RAM/node local disk 240 GB SSD HDR100 network BeeGFS filesystem 4 NVIDIA A100 4 AMD MI100

Leibniz Cluster Intel Xeon E5-2680v2 (Ivy Bridge) 24 node count 20 cores 480 core count 24*256 GB RAM/node local disk 500 TB FDR10 network BeeGFS filesystem

Afbeelding 23 Tier-2 infrastructuur UGent Afbeelding 24 Tier-2 infrastructuur UAntwerpen

36 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 37

f Vrije Universiteit Brussel De Tier-2-infrastructuur aan de Vrije Universiteit Brussel (VUB) ziet er als volgt uit:

In 2021 zijn volgende wijzigingen gebeurd aan de Hydra-omgeving:

z 208 TF CPU, 175 TF GPU

z De combinatie Torque/MOAB als job scheduler werd vervangen door Slurm. Dit werd gedaan zonder downtime. Om de overgang makkelijk te maken werden zogenaamde wrappers voorzien die de ‘oude’ Torque commando’s omzetten naar Slurm.

z 3.460 CPU cores / 143.872 GPGPU cores

z Er werden 6 nodes toegevoegd met elk 2 NVIDIA A100 GPU’s aan boord.

z 1 cluster / 8 partities

z 24 TB geheugen

z Een deel van de oude Ivy Bridge nodes werd uit productie gehaald. Hydra Cluster Intel Xeon E5-2650v4 (Broadwell) 4 node count 24 cores 256 GB RAM/node local disk 2 TB 10GbE network 8 NVIDIA Tesla P100 accelerator

Hydra Cluster Intel Xeon E5-2680v2 (IvyBridge) 37 node count 20 cores 740 core count 17*128 GB RAM/node 20*256 GB RAM/node local disk 900 GB QDR network 12 Tesla K20 NVIDIA accelerator

Hydra Cluster Intel Xeon E7-8891v4 (Broadwell) 1 node count 40 cores 40 core count 1.5 TB RAM/node local disk 4 TB 10GbE network

Hydra Cluster Intel Xeon E5-2680v4 (Broadwell) 27 node count 28 cores 756 core count 256 GB RAM/node local disk 1 TB 10GbE network

Hydra Cluster Intel Xeon Gold 6148 (Skylake) 31 node count 40 cores 960 core count 192 GB RAM/node local disk 1 TB EDR network

Hydra Cluster Intel Xeon E5-2683v4 (Broadwell) 1 node count 32 cores 32 core count 512 GB RAM/node local disk 8 TB 10GbE network 4x GeForce GTX 1080 Ti NVIDIA accelerator

Hydra Cluster Intel Xeon Gold 6148 (Skylake) 22 node count 40 cores 840 core count 192 GB RAM/node local disk 1 TB 10GbE network

Naast haar eigen Tier-2-infrastructuur beheert de VUB - samen met de ULB - ook de gridinfrastructuur, die onder meer gebruikt wordt voor het verwerken van de gegevens die worden verzameld bij het uitvoeren van experimenten met de Large Hydron Collider (HPC) aan het CERN, maar ook binnen de Vlaamse onderzoeksgemeenschap gebruikt wordt. De gridinfrastructuur bestaat uit: z 1 cluster z 184 TF z 6.136 CPU cores z 50 TB geheugen

Gebruikte core-uren op grid cluster VUBcluster VUB Gebruikte core-uren op grid 300000

250000

200000

Grid

150000

productie capaciteit

Afbeelding 25. Tier-2 infrastructuur VUB

Aan de VUB werd gekozen om uitbreidingen steeds binnen dezelfde Hydra-omgeving te doen, wat efficiënter is voor zowel de gebruikers als het managementteam. Dit heeft dan wel een heterogenere cluster tot gevolg, De cluster beantwoordt op die manier aan specifieke noden van verschillende onderzoeksgroepen.

100000

50000

0 01/01/20 jan

01/02/20 feb 01/03/20 mar 01/04/20 apr 01/05/20 mei

01/06/20 jun 01/07/20 jul

01/08/20 aug 01/09/20 sep 01/10/20 okt

Afbeelding 26. Grid-infrastructuur VUB

01/11/20 nov 01/12/20 dec

38 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 39

Exploitatie en gebruik Na de beschrijving van de infrastructuur, wordt vervolgens een overzicht gegeven van het gebruik van de Tier-1 en de Tier-2. Voor het rapporteren over het gebruik beschikt VSC over een centrale XDMoD infrastructuur die alle data van de verschillende clusters verzamelt en de nodige overzichten genereert.

Gebruik shared memory memory nodes Usage of large andvan shared 12.000 12000 10.000 10000 8.000 8 000 6.000 6000

4000 4.000 feb

mar

apr

mei

jun

jul

aug

sep

okt

Uantwerpen

VUB VUB Brussel

nov

dec

01 /0 1/ 20 21 01 /0 2/ 20 21 01 /0 3/ 20 21 01 /0 4/ 20 21 01 /0 5/ 20 21 01 /0 6/ 20 21 01 /0 7/ 20 21 01 /0 8/ 20 21 01 /0 9/ 20 21 01 /1 0/ 20 21 01 /1 1/ 20 21 01 /1 2/ 20 21

jan

CPU core-uren

Tier-1

KU Leuven/UHasselt

Tier-1 Breniac

Gent

Leuven/Hasselt

UGent

UAntwerpen Antwerpen

Afbeelding 27. Gebruik uitgedrukt in core-uren van alle VSC clusters

Tier-1 Breniac

Gent

Leuven/Hasselt

Antwerpen

Brussel

Afbeelding 27 geeft het gecumuleerde gebruik weer van de Tier-1 en Tier-2 infrastructuur. Er is een duidelijke stijging merkbaar. Het totaal aantal core-uren blijft verder stijgen in 2020. De Tier-2 infrastructuur bij de verschillende instellingen werd vernieuwd en/of uitgebreid. De kaap van 35 miljoen core uren werd regelmatig overschreden. Deze cijfers bevatten enkel de thin node clusters en niet de GPU-computing of Grid-computing.

Gebruikte CPU-uren op thin node clusters KU Leuven & UHasselt Gebruikte CPU-uren op thin node clusters KU Leuven & UHasselt

350.000 350.000

2000 2.000 00

jan

feb

mar

apr

mei

jun

jul

aug

sep

okt

nov

dec

101 20 21 -0 201 20 21 -0 301 20 21 -0 401 20 21 -0 501 20 21 -0 601 20 21 -0 701 20 21 -0 801 20 21 -0 901 20 21 -1 001 20 21 -1 101 20 21 -1 201

50.000.00035000000 50.000.000 45.000.000 45.000.000 30000000 40.000.000 40.000.000 35.000.00025000000 35.000.000 30.000.00020000000 30.000.000 25.000.000 25.000.000 15000000 20.000.000 20.000.000 15.000.00010000000 15.000.000 10.000.000 5000000 10.000.000 5.000.000 5.000.000 0 00

20 21 -0

40000000

CumulatiefCPU verbruik over alle instituten uren Thin node clusters CPUverbruik core-uren Cumulatief over alle instituten

Afbeelding 28 - Gebruikte core uren op de KU Leuven/UHasselt thin node cluster geeft een overzicht van het gebruik van de infrastructuur aan de KU Leuven. De grafiek stelt het cumulatieve gebruik voor van de verschillende thin node clusters aan de KU Leuven. In april is er een duidelijke downtime te zien die nodig was om het nieuwe filesysteem in productie te zetten. In het onderhoudsvenster werden de finale netwerk integratie en data-migratie uitgevoerd. In dezelfde periode werden ook de oude ThinKing nodes uit productie gezet. Bijna 1.000 gebruikers, gespreid over vele onderzoeksdomeinen hebben in 2021 gerekend op deze thin node clusters.

genius_superdome_core_hours Totale capaciteit geni us_superdome_core_hours

genius_bigmem_core_hours

geni us_bigmem_core_hours

Afbeelding 29. Gebruik van shared memory KU Leuven/UHasselt

Total e capaciteit

Genius gpu hours Gebruik van GPU uren

2 500 2.500

2.000 2 000

300.000 300.000

1.500 1500

250.000 250.000 200.000 200.000

1.000 1000

150.000 150.000 100.000 100.000 50.000 50.000

201

dec

geni us naples geni usop cascadelake productie teitcluster Afbeelding 28. Gebruikte core uren de KU Leuven/UHasselt thincapaci node piloot +productie capaciteit

ThinKing_K40_GPU_Hours

geni us_skylake_P100_gpu_hours

genius_cascade_lake_V100_gpu_hours

geni us_cascade_lake_V100_gpu_hours

Afbeelding 30. Gebruik van GPU nodes KU Leuven/UHasselt

dec

20 21 -1

nov

101 20 21 -1

001

okt

20 21 -1

801

sep

901 20 21 -0

genius_skylake_P100_gpu_hours

aug

20 21 -0

jul

701

20 21 -0

501

jun

601 20 21 -0

ThinKing_K40_GPU_Hours

mei

20 21 -0

401

apr

20 21 -0

301

01 2-

mar

20 21 -0

feb

20 21 -0

jan

101

20 21 -0

20 21 -1

genius skylake productie capaciteit geni us skyl ake

nov

101

okt

001

20 21 -1

20 21 -0

thinking haswell Genius GPU CPU genius naples genius cascadelake +productie capaciteit Genius GPU CPU thinking piloot haswell

sep

901

aug

801

jul

701

20 21 -0

jun

601

mei

501

apr

401

20 21 -0

301

mar

20 21 -0

feb

201

jan

101

500500

Totale capaciteit

Total e capaciteit

40 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 41

Buiten de thin node rekencluster zijn er aan de KU Leuven specifieke nodes met meer geheugen, een node met shared memory en nodes met GPU acceleratoren.

Figuur 31 geeft het cumulatieve gebruik in 2021 weer van alle rekenclusters aan de Universiteit Gent.

De Big memory en shared memory nodes gebruiken een hogere memory/core ratio, soms worden niet alle cores in de node gebruikt, maar wel het volledige geheugen. Dus we verwachten hier geen 100% bezetting . De grafiek toont aan dat er een constante bezetting van de big memory nodes is. Voor de shared memory machine, Superdome, is dit meer variabel. In vergelijking met vorige jaren is de workload toegenomen, zowel door scheikundige onderzoekers als door bioinformatici. Het geheugen gebruik altijd boven wat beschikbaar is op de large memory nodes. maar de workload die hierop loopt, kan niet typisch op andere machines.

In 2021 werden in totaal 136.388.360 core-uren verbruikt op de Tier-2-rekenclusters van de Universiteit Gent. Dit zou overeenkomen met 15.569 jaar rekenwerk op één enkele core. Op de GPU clusters joltik (en accelgor in piloot) werd in totaal 252.205 aan GPU uren verbruikt.

Het gebruik van de GPU’s wordt getoond voor de verschillende GPU devices. De oude NVIDIA K40 werden samen met ThinKing verwijderd. Na een sterke stijging in 2020 is het gebruik in 2021 op hetzelfde niveau gebleven.Gebruikte CPU-uren op rekenclusters UGent

Gebruikte CPU-uren op thin node clusters Gebruikte CPU-uren op thin node clusters UAntwerpen UAntwerpen

400.000 400.000

dec

01 /1 2/ 20 21

joltik

kirlia phanpy

doduo swalot

accelgor victini

piloot capaciteit skitty

joltikproductie capaciteit

kirlia

doduo

accelgor

piloot capaciteit

productie capaci teit

2.000 2000

2.000

2000

1.800 1800

1.800

1800

1.600 1600

1.600

1600

1400 1.400

1.400

1400

1200 1.200

1.200

1200

1.000 1000

1.000

1000

800 800

800

600 600

600

400 400

400

200 200

200

joltik

accelgor

piloot capaciteit

productie capaciteit

dec

01 /1 2/ 20 21

nov

01 /1 1/ 20 21

okt

01 /1 0/ 20 21

piloot capaciteit

sep

01 /0 9/ 20 21

aug

01 /0 8/ 20 21

jul

01 /0 7/ 20 21

accelgor

jun

01 /0 6/ 20 21

mei

01 /0 5/ 20 21

joltik

apr

01 /0 4/ 20 21

01 /0 2/ 20 21 01 /0 3/ 20 21

01 /0 1/ 20 21

mar

productie capaci teit

Afbeelding 31. Gebruik van de infrastructuur (CPU en GPU) aan de UGent

feb

mar

apr

leibniz

mei

jun

vaughan

jul

aug

productie capaciteit

sep

okt

nov

piloot capaciteit

dec

leibniz vaughan productie capaci teit Piloot Afbeelding 32. Gebruik van de infrastructuur van de UAntwerpen

Gebruikte GPU-uren op rekenclusters UGent

feb

20 21 -0

101

jan

Gebruikte GPU-uren op rekenclusters UGent

jan

20 21 -0

skitty

nov

01 /1 1/ 20 21

okt

01 /1 0/ 20 21

victini

sep

01 /0 9/ 20 21

aug

01 /0 8/ 20 21

jul

01 /0 7/ 20 21

swalot

jun

01 /0 6/ 20 21

mei

01 /0 5/ 20 21

phanpy

apr

01 /0 4/ 20 21

mar

01 /0 2/ 20 21 01 /0 3/ 20 21

01 /0 1/ 20 21

feb

201

jan

50.000 50.000

20 21 -1

50000

101

100000

50000 50.000

20 21 -1

100000 100.000

100.000 100.000

001

150000

20 21 -1

150000 150.000

150.000 150.000

901

200000

20 21 -0

250000

801

250000 250.000 200000 200.000

200.000 200.000

20 21 -0

300000

701

300000 300.000

250.000 250.000

20 21 -0

350000

601

350000 350.000

20 21 -0

400000

501

400.000 400000

300.000 300.000

20 21 -0

450000

401

500000

450000 450.000

20 21 -0

500.000 500000

350.000 350.000

301

550000

20 21 -0

550.000 550000

201

Gebruikte CPU-uren op rekenclusters UGent

Het gemiddelde effectieve gebruikspercentage bedraagt 71% voor alle clusters met CPU capaciteit in 2021. Voor de GPU clusters in productie is het effectieve gebruikspercentage gemiddeld 62%. Deze percentages geven aan hoeveel van het theoretisch beschikbare rekenvermogen in één jaar werd gebruikt (hierbij werd geen rekening gehouden met uitvaltijden, dus de werkelijke waarde is hoger).

De grafiek van Afbeelding 32 stelt het cumulatieve gebruik voor van de clusters Leibniz en Vaughan aan de Universiteit Antwerpen. Vaughan werd in januari uitgebreid met 48 extra nodes. In het najaar werden nog drie GPU nodes toegevoegd: een node met 4 NVIDIA A100 en twee nodes met 2 AMD MI100 als testplatform voor LUMI. Om de uitbreiding van Vaughan voor te bereiden, was er een geplande onderbreking van 3 dagen in januari. Daarnaast was er in september ook een geplande onderbreking van Vaughan voor een update. In februari en oktober zijn er stroomstoringen geweest met beperkte impact, in maart was er een grotere onderbreking waarbij de volledige infrastructuur een halve dag niet beschikbaar was.

42 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 43

Gebruikte CPU-uren op thin node clusters VUB Gebruikte CPU-uren op thin node clusters VUB

90.000 90000

Gebruikte CPU-uren op grid cluster VUB

80000 80.000

350000 350.000

70000 70.000

300000 300.000

60000 60.000

Axis Title

hydra_skylake_mpi_cpu_hours

50000 50.000

hydra_ivybridge_mpi_cpu_hours

40000 40.000

Hydra broadwell

30000 30.000

piloot capaciteit

20000 20.000

productie capaciteit

200.000 200000 Grid

150.000 150000

productie capaciteit

100.000 100000

10000 10.000

Axis Title

Genius gpu hours

01/01/00 10/01/00 19/01/00 28/01/00 06/02/00 15/02/00 24/02/00 04/03/00 13/03/00 22/03/00 31/03/00 09/04/00 18/04/00 27/04/00 06/05/00 15/05/00 24/05/00 02/06/00 11/06/00 20/06/00 29/06/00 08/07/00 17/07/00 26/07/00 04/08/00 13/08/00 22/08/00 31/08/00 09/09/00 18/09/00 27/09/00 06/10/00 15/10/00 24/10/00 02/11/00 11/11/00 20/11/00 29/11/00 08/12/00 17/12/00 26/12/00

50.000 50000 1 12 23 34 45 56 67 78 89 100 111 122 133 144 155 166 177 188 199 210 221 232 243 254 265 276 287 298 309 320 331 342 353 364

250000 250.000

900 900

8 00 800

Afbeelding 34 - Gebruik van BEGrid cluster aan de VUB

700 700

De Begrid cluster is heterogeen: de cluster bestaat uit verschillende series van worker nodes met verschillende generaties van voornamelijk Intel CPU’s. Het doel van de cluster is voornamelijk om data intensive, single-core berekeningen te doen (zogenaamde High Throughput Computing) en de grote van de cluster wordt uitgedrukt in job slots wat overeenkomt met 1 hyper-threaded CPU core. Het gemiddelde gebruik van de cluster is ongeveer 75%.

600 600 500 500 400 400 300 300

In 2021 werd de capaciteit van de cluster uitgebreid naar 184 TFlops door 4 worker nodes toe te voegen. Deze nieuwe nodes zijn uitgerust met een dual AMD Epyc 7452 CPU. Er is gekozen om AMD CPU’s te kopen vanwege de uitstekende prijs-performantie verhouding in vergelijking met Intel CPU’s. De capaciteit van het dCache storage systeem is gelijk gebleven op ongeveer 7 PB. Het jaarlijks onderhoud in augustus is niet doorgegaan in 2021 door Corona en omdat er geen nood aan was.

200 200 100 100 00

aav

hydra_ampere_gpu_gpu_hours hydra_ampere_gpu_gpu_hours

20 21 -1

201

dec

20 21 -1

nov

101

okt

001

20 21 -1

20 21 -0

hydra_k epler_gpu_gpu_hours hydra_kepler_gpu_gpu_hours

sep

901

aug

801

jul

701 20 21 -0

601

jun

20 21 -0

501

mei

20 21 -0

401

apr

20 21 -0

301

mar

20 21 -0

201

feb

20 21 -0

101

jan

hydra_pascal_gpu_gpu_hours Total e capaciteit hydra_pascal_gpu_gpu_hours

Totale capaciteit

Afbeelding 33 - Gebruik van de VUB infrastructuur

Het gemiddelde gebruik lag in 2021 op 72,12% voor het CPU gedeelte en 59,77% voor het GPU gedeelte. Vooral het gebruik van het GPU nodes is zeer volatiel: er zijn periodes van zeer intensief gebruik afgewisseld met heel kalme periodes. Er waren geen grote onderbrekingen noch grote geplande maintenance op Hydra dit jaar: alle updates zijn rollende gedaan. De cluster bleef ten alle tijden online, maar telkens werd een deeltje offline gehaald om te updaten. Zelfs de wijziging van job scheduler in oktober is nauwelijks zichtbaar op de gebruiksgrafieken.

Ook voor de Begrid was 2021 een overgangsjaar. Veel tijd is gestoken in het verder afstellen en configureren van HTCondor als job scheduler en het ondersteunen van gebruikers bij de migratie. Daarnaast werden de home directories van de gebruikers gemigreerd naar een Ceph gebaseerd systeem. Er zijn nog een paar dipjes in het gebruik door kleine incidenten: z In april was er een probleem met dCache en de configuratie van HTCondor. z Eind mei/begin juni was er een probleem met het geheugen gebruik van sommige worker nodes. z In de eerste 3 weken van juli waren er problemen met een aantal worker nodes en file servers.

44 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 45

Toekennen rekentijd Tier-2 Elke universiteit hanteert een eigen procedure voor het toekennen van rekentijd op de Tier-2 infrastructuur en rekent al dan niet een klein deel van de kosten door aan de academische onderzoeker. Voor industriële/externe gebruikers wordt alle verbruikte rekentijd steeds volledig aangerekend. Om toegang te kunnen krijgen tot één van de Tier-2 rekenclusters in de vier VSC hubs (Antwerpen, Brussel, Gent, Leuven) dient de gebruiker over een VSC-userid te beschikken. Die kan worden aangevraagd op https://account.vscentrum.be. Deze website en database centraliseert tevens alle gebruikersinformatie over de instellingen heen over storage quota, lidmaatschap van gebruikersgroepen, virtuele organisaties, etc. De onderzoekers van UAntwerpen en haar associatie hebben volledig vrije toegang tot de Tier2 infrastructuur. Onderzoeksgroepen kunnen wel, op vrijwillige basis, een financiële bijdrage leveren of investeren in bijkomende rekencapaciteit. De onderzoekers van VUB en haar associatie hebben volledig vrije toegang tot de eigen Tier2 infrastructuur. De gridcluster is beschikbaar na aanvraag bij de verantwoordelijke van deze infrastructuur. Het gebruik van de Tier-2 infrastructuur is kosteloos.

Instelling

Compute time in corehours UAntwerpen

@UAntwerpen @VUB @UGent @KU Leuven / UHasselt

10.875 46.646 133.887

@UAntwerpen @VUB @UGent @KU Leuven / UHasselt

De onderzoekers van UGent en haar associatie hebben volledig vrije toegang tot de eigen Tier2 infrastructuur. Onderzoeksgroepen kunnen wel, op vrijwillige basis, een financiële bijdrage leveren met als rechtstreekse return-on-invest een (iets) hogere fairshare, of kunnen rekentijd reserveren aan full cost. Op de clusters van KU Leuven/UHasselt wordt gewerkt met een credit accounting systeem dat vervat zit in de scheduling software. Nieuwe gebruikers krijgen rekentijd om vertrouwd te worden met het systeem en om eerste testen uit te voeren. Hiermee is de instapdrempel voor onderzoekers om over te stappen naar de Tier-2 infrastructuur zo laag mogelijk. Vervolgens kunnen credits aangevraagd worden via een eenvoudige procedure en tegen minimale kost. De credits verdelen de beschikbare rekentijd over verschillende projecten en werken responsabiliserend. Bij het uitvoeren van een rekentaak wordt het project aangegeven waarop de credits aangerekend worden. De hoofdonderzoeker is beheerder van het project. Hij kan onderzoekers toegang geven tot de rekentijd en ook de gebruikte rekentijd opvolgen. Door gebruik te maken van centrale accounts, kunnen gebruikers ook op andere sites rekenen, rekening houdend met modaliteiten die van toepassing zijn. Hieronder wordt een beknopt overzicht van het cross-site rekenen gegeven.

145.750 11

UGent 64.712 94.856

KU Leuven/UHasselt 496.035 287.190 8.117

129.766

Tabel 7. Cross-site rekenen in core-uren

Instelling

Afbeelding 35 - De webpagina van VSC Accounts

VUB 32

Compute time in GPUhours UAntwerpen

VUB

0,0031 11.699

12.631 1

UGent

875

Tabel 8. Cross-site rekenen in GPU-uren

KU Leuven/UHasselt

46 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 47

Gebruikersondersteuning Voor verscheidene VSC Tier-1 services werd in 2021 gestart met een gecentraliseerde VSC helpdesk, op een platform onder beheer van UGent. Onderstaande grafiek geeft een idee van het aantal vragen binnen dit helpdesk platform (inclusief de Tier-2 helpdesk tickets voor UGent).

De gebruikersondersteuning bestaat uit verschillende componenten: z het beantwoorden van vragen van gebruikers (helpdesk); z bijeenkomsten met gebruikers / specifieke ondersteuning; z opleiding en outreach. Het laatste punt wordt besproken in secties over “Opleidingen” en “Outreach naar bedrijven”.

Beantwoorden van vragen van gebruikers Hieronder volgt een overzicht van de tickets die bij de helpdesk terechtkomen. Er is geen centrale VSC-helpdesk. Elke instelling beantwoordt de vragen en problemen van de eigen gebruikers (d.w.z. gebruikers die een account hebben aangevraagd in de betrokken instelling), zowel wat betreft de eigen Tier-2 infrastructuur als de centrale Tier-1, maar ook van externe gebruikers die gebruikmaken van de VSC-infrastructuur. Indien nodig wordt voor vragen met betrekking tot de Tier-1 contact opgenomen met de helpdesk aan de KU Leuven of UGent. Bij de vragen wordt onderscheid gemaakt tussen Ê vragen over accounts; Ê vragen over software; Ê overige vragen. Afbeelding 36. Opgelost helpdesktickets in 2021 aan UGent.

KU Leuven / UHasselt Tier-2 + grid Accounts Software Overig

1617 806 344

Tier-1 Accounts Software Overig

108 165 67

Totaal

3107

UGent UAntwerpen

310 216 1070

71 190 90

VUB

156 138 428

Het email adres cloud@vscentrum.be verzamelt alle gebruikersvragen met betrekking tot het Tier-1 Cloud platform binnen het gecentraliseerde helpdesk systeem. UGent staf staat in voor het beantwoorden en opvolgen van de tickets. In 2021 werden 51 tickets m.b.t. Tier-1 Cloud behandeld en opgelost.

6 1596

357

722

Tabel 9. Details van de helpdesk tickets.

Afbeelding 37. Oplossingstijd van Tier-1 cloud-helpdesktickets

48 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 49

Bijeenkomsten met gebruikers / specifieke ondersteuning Gebruikersvragen met betrekking tot een Tier-1 Compute platform worden verzameld via het generieke email adres compute@vscentrum.be. Binnen het helpdesk platform gebeurt een triage, naargelang de vragen Tier-1 Compute BrENIAC of Hortense betreffen, dan wel generiek van aard zijn. Vragen of problemen in verband met BrENIAC worden door het KU Leuven team behandeld, die voor Hortense door het UGent team.

Enerzijds wordt geprobeerd zoveel mogelijk onderzoekers te betrekken bij het HPC-verhaal door te kijken of en hoe ze de overstap kunnen maken van hun desktop naar de HPC-infrastructuur of hun eigen desktop gewoon efficiënter kunnen gebruiken. Voor bestaande gebruikers kan dit ook hulp betekenen bij de overstap van Tier-2 naar Tier-1 en eventueel naar Tier-0. Anderzijds wordt geprobeerd om onderzoekers specifieke ondersteuning te geven. Enkele voorbeelden: z optimaliseren van bestaande workflows; z analyse / optimaliseren van code; z input geven aan het schrijven van onderzoeksprojecten. Daarnaast vinden er aan elke instelling nog gebruikersbijeenkomsten plaats waarin een afvaardiging van de gebruikers vertegenwoordigd is. Hier maken we, per instelling, een selectie van de hierboven vermelde ondersteuning.

f KU Leuven en Universiteit Hasselt

Afbeelding 38. Oplossingstijd van Tier-1 compute-helpdesktickets

In de loop van 2021 werd de transitie gemaakt naar dit gecentraliseerde platform. Als gevolg zijn verscheidene Tier-1 gerelateerde tickets nog behandeld binnen de helpdesk systemen van de Tier2 hubs. Hieronder een overzicht.

UAntwerpen Tier-1 Cloud lokaal

UGent

centraal

Tier-1 Compute Generic

BrENIAC-related centraal

340

BrENIAC-related lokaal Hortense-related

KU Leuven / UHasselt

162

Tabel 10. Overzicht van helpdesk tickets Tier-1, per instelling en platform

In 2020 werd gestart met de combinatie van video’s en online sessies voor introductie van nieuwe gebruikers. Dit is verdergezet in 2021, er werden 8 sessies georganiseerd, met gemiddeld een 30-tal deelnemers. Dit zorgt voor een heel flexibele manier voor een vlotte start voor nieuwe gebruikers. Er wordt ook altijd gezorgd dat VSC wordt voorgesteld bij de introducties voor nieuw academisch personeel. In het verleden was dit een specifiek event, maar dit jaar was het online materiaal ter voorstelling van HPC. Door de corona perikelen zijn de lunchbox sessies in fysieke vorm weggevallen. Dit waren typisch ook momenten waarbij HPC gebruikers ook de gelegenheid hadden om informele contacten te leggen met andere gebruikers. Om ervoor te zorgen dat er een goede informatie doorstroming is en om een nauw contact met de gebruikscommunity te onderhouden, werd er in 2021 gestart met een regelmatige bijeenkomst van HPC gebruikers die typisch ook andere mensen binnen hun groep helpen met het HPC gebruik. Op deze manier worden ze op de hoogte gehouden van nieuwe initiatieven, kunnen ze methoden voorstellen die ook bruikbaar zijn voor andere gebruikers en is er mogelijkheid tot meer informele contacten. Ter voorbereiding van de aanbesteding van een nieuwe cluster werden een aantal workshops georganiseerd met gebruikers van verschillende toepassingsgebieden. Deze helpen mee de algemene vereisten van de nieuwe machine te bepalen en zorgt ervoor dat de gebruikers ook vanaf de start betrokken zijn bij de nieuwe infrastructuur. Naast de dagdagelijkse support geïnitieerd via de servicedesk waren zijn er nog enkele acties die specifiek vermeld kunnen worden. Ondersteuning van 2 studentteams in kader van Agoria Solar team en Formula Electric, consulting voor een systematisch migratie van onderzoekssoftware Aquacrop naar Fortran zodat de gebruikte modules beter schalen en eenvoudiger ingezet kunnen worden binnen HPC simulaties. Verder werden ook verschillende nieuwe gebruikers opgeschaald naar Tier-1.

50 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 51

Binnen de Europese projecten werd voor PRACE een nieuwe MOOC opgeleverd (Fortran for scientific computing) en waren er ook herhalingen van de MOOC die reeds in 2020 gemaakt werd (Defensive programming and Debugging). Voor EuroHPC werd meegewerkt aan workpackages specifiek gericht op industrie.

Om tegemoet te komen aan de immer toenemende vraag van onderzoekers rond dataopslag en -beheer, werden onder meer verscheidene specifieke acties gevoerd:

Voor Universiteit Hasselt lag de klemtoon vooral op het aantrekken van nieuwe gebruikersgroepen en enkele faculteiten kregen bijzondere ondersteuning.

z 9/11/2021: “Storage platforms @ UGent– Applied”, faculteit Economie en Bedrijfskunde (UGent)

f Universiteit Gent Doorheen het jaar werden verscheidene gebruikersmeetings georganiseerd, in respons op specifieke vragen van onderzoekers en onderzoeksgroepen, o.a.: z ArcelorMittal z Onderzoeksgroep Sustainable Thermo-Fluid Energy Systems, UGent z Onderzoeksgroep BIOBIX, UGent z IDLab/imec z HOGent z Center for Molecular Modeling, UGent z VIB z Faculteit Economie en Bedrijfskunde, UGent z Vakgroep Vastestofwetenschappen, UGent z VLIZ z AZDelta z Thinkubate z Vakgroep geologie, UGent z UGent centre for X-ray tomography

z 11/05/2021: demo sessie “HPC-shares / Globus / HPC webportal” voor UGent data stewards en andere stakeholders

z 26/11/2021: “Data storage @ UGent”, webinar voor faculteit Ingenieurswetenschappen en Architectuur (UGent)

f Universiteit Antwerpen De ondersteuning van de gebruiker staat centraal. We denken hierbij aan tips voor het optimaliseren van workflows of berekeningen en het efficiënt gebruik van de infrastructuur door actieve monitoring van de jobs. Hierbij spelen een goed onderhouden softwarestack en ondersteunende tools een belangrijke rol. Jaarlijks worden ook twee intro-sessies georganiseerd (februari/maart en oktober) die bestaan uit 3 delen: “Linux introduction” (2 halve dagen), “Supercomputers for starters” (1 halve dag) en “HPC@UAntwerp introduction” (2 halve dagen). Door de pandemie werden de sessies in de lente online gegeven, in de herfst was het on campus. Het was bij de online sessies opvallend dat er ook verschillende externe deelnemers waren. Daarnaast werd in maart ook de sessie “High Performance Python - software development for PhD students and postdocs” (2 halve dagen) georganiseerd, met ook hier verschillende externe deelnemers. De “road show” waarbij we met onderzoeksgroepen rond de tafel zitten om het VSC en de infrastructuur en organisatie in Antwerpen toe te lichten, bleef in 2021 online doorgaan. Naast “nieuwe” onderzoeksgroepen, werd de focus ook uitgebreid naar reeds actieve groepen om te peilen naar mogelijke interesse voor LUMI. Zo heeft de onderzoeksgroep Medicinale Chemie met succes eind 2021 een aanvraag voor rekentijd op LUMI ingediend.

z Vakgroep Bouwkundige Constructies en Bouwmaterialen, UGent

Daarnaast is er de begeleiding van masterstudenten bij het gebruik van de infrastructuur, en ondersteuning bij de aanvragen voor rekentijd op Tier-1 en bij computationele aspecten van (interuniversitaire) projectaanvragen. En is er de actieve medewerking binnen Europese projecten als PRACE en EuroHPC (LUMI en NCC). Zo werden de twee projecten met bedrijven afgewerkt en waren we actief binnen de PRACE Unified European Application Benchmark Suite (UEABS).

Om zoveel mogelijk (potentiële) gebruikers te overtuigen van het belang en de meerwaarde van supercomputing werd het VSC en het HPC-UGent team intern voorgesteld:

Naast de opleidingen binnen het VSC, worden ook cursussen in het reguliere programma verzorgd, nl. “Wetenschappelijke rekenomgevingen” en “(Parallel) programmeren”.

z 12/01/2021, computercommissie van de faculteit Ingenieurswetenschappen en Architectuur (UGent)

Aan de UAntwerpen is sinds 2006 een gebruikersgroep actief die twee keer per jaar samenkomt. De gebruikersgroep bestaat uit afgevaardigden van 13 groepen.

z DiamCAD z Flanders Make

z 26/04/2021, guest lecture “Introduction to High-Performance Computing (HPC)” in context van vak Information Technology and Data Processing (UGent)

52 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 53

f Vrije Universiteit Brussel In 2021 werd er veel tijd gestoken in een interne reorganisatie van de IT afdeling. Het voordeel van de nieuwe structuur is dat we veel betere voelsprieten hebben voor allerlei noden rond wetenschappelijk rekenen. Er zijn vrij veel ad hoc vergaderingen tussen onderzoekers en onderzoeksgroepen opgezet met het doel om Hydra en het VSC in het algemeen beter te leren kennen. We hebben met succes ook verschillende groepen naar de VSC cloud gekregen. De jaarlijkse user survey leert ons dat de gebruikers nog steeds tevreden zijn over de ontvangen dienstverlening. Er is ook vrij veel tijd geïnvesteerd in het helpen bij de overstap naar de Slurm job scheduler met o.a. wekelijkse Q&A sessies. Het resultaat is dat de overstap bijzonder vlot is gegaan en we geen negatieve opmerkingen hierover hebben ontvangen. De VUB heeft een HPC-gebruikerscommissie die elk jaar samenkomt, waarin wordt teruggekoppeld vanuit het VSC, en die het gebruik en de noden voor HPC opvolgt. De gebruikerscommissie omvat leden uit alle faculteiten, uit het rekencentrum en vanuit het departement onderzoeksbeleid. Qua cursussen worden tweemaal per jaar de cursussen “Introduction to Linux” en “Introduction to the use of HPC at the VUB” georganiseerd.

Met de hulp van VSC hebben we ervoor kunnen zorgen dat alle onderzoekers in Vlaanderen toegang hebben tot de middelen die ze nodig hebben om dataintensieve analyses uit te voeren in de levenswetenschappen.

Ontdek zijn succesverhaal op pagina 75

Frederik Coppens IT Manager VIB en Head of Node ELIXIR Belgium

54 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 55

Personeel Gezien de infrastructuur van het VSC (Tier-2 en Tier-1 infrastructuur) geïnstalleerd is in de verschillende universitaire datacentra, is eveneens het personeel tewerkgesteld aan de verschillende universiteiten.

Subsidiëring Enerzijds heeft elke universiteit personeel nodig voor de exploitatie van de Tier-2 infrastructuur en de ondersteuning van de eindgebruikers. Hiervoor worden 20 VTE gesubsidieerd. Anderzijds worden aan de instelling die Tier-1 supercomputer huisvest, VTE toegekend. Hiertoe werden in het verleden 2 VTE toegekend voor de exploitatie van de Tier-1 (UGent) en 2 VTE toegekend voor Tier-1 (KU Leuven). Daarenboven worden voor de uitbreiding van de Tier-1 services 2 VTE ingezet. Dit team staat in voor de concretisering van het Tier-1 project, “Supercomputing as a service”. Sinds 2020 worden binnen dit Tier-1 SaaS project ook 2 VTE toegewezen aan Cloud (UGent) en 2 VTE aan Data (KU Leuven). Omdat elke universiteit een ander personeelsbeleid voert en verschillende verloningsprincipes hanteert, wordt voor elke VTE een vast bedrag van 95.000 euro uitgekeerd.

Instelling UGent UAntwerpen VUB UHasselt KU Leuven

Aantal gesubsidieerde VTE voor Tier-2 exploitatie en ondersteuning 5 4 3 2,5 6 Tabel 11. Aantal gesubsidieerde VTE voor Tier-2 exploitatie en ondersteuning

Instelling UGent UAntwerpen KU Leuven

Aantal gesubsidieerde VTE voor Tier-1 exploitatie en operationeel management 4,6 0,6 4,6 gesubsidieerde VTE voor Tier-1 Tabel 7. Aantal exploitatie en operationeel management Tabel 12. Aantal gesubsidieerde VTE voor Tier-1 exploitatie en operationeel management

Effectieve personeelsinzet Om de verschillende Tier-2 en Tier-1 opstellingen te exploiteren, te onderhouden en om de gebruikers te ondersteunen, is enerzijds meer mankracht nodig dan binnen de subsidiëring voorzien wordt. Anderzijds is een waaier aan expertises nodig die niet binnen één beperkt team opgebouwd kan worden. Om hieraan tegemoet te komen, kunnen de HPC-technici en ondersteuners beroep doen op andere experten die werken in de ICT-diensten van de verschillende universiteiten. De universiteiten zetten samen 44,29 VTE in voor de HPC- exploitatie en ondersteuning. Daarnaast doen universiteiten soms ook beroep op externe consultants of jobstudenten voor specifieke taken. Deze worden niet vermeld in de tabellen. 1

We merken hierbij op dat, wegens een instellingsbrede regeling, de VTE die aan de Universiteit Antwerpen ingezet worden en die niet ten laste van FWO komen, slechts voor een voorgeschreven en geplafonneerde fractie van de inzet in deze tabel kunnen opgenomen worden.

Instelling

Aantal VTE ingezet voor HPC

UGent UAntwerpen1 VUB UHasselt KU Leuven Totaal

11,25 6,20 5,34 1,50 20,00 44,29

Aantal koppen betrokken bij de HPC-exploitatie en ondersteuning 21 12 17 2 28 80

Tabel 13. Aantal VTE ingezet en koppen betrokken bij HPC via het VSC

56 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Management

Outreach

Het aantal personen betrokken in de verschillende activiteiten kan u hieronder vinden.

Wetenschappelijke of gevorderde ondersteuning

Deze personen zijn verantwoordelijk voor het inpassen van de HPC-infrastructuur in de datacentra. Zij installeren de infrastructuur in het datacentrum. Ze installeren en beheren eveneens de specifieke storage die aan de HPC gekoppeld is. Daarnaast installeren en beheren ze het interne netwerk van de HPC en koppelen ze de HPC in het universiteitsnetwerk en het intranet. Zij staan in voor de beveiliging van de infrastructuur en de dagelijkse monitoring ervan. Ze werken mee aan de aankoopdossiers rond de integratie van de infrastructuur in het datacentrum.

Heel wat personen die betrokken zijn bij het VSC, spenderen een deel van hun tijd aan het promoten van wetenschappelijk rekenen en HPC. Zij doen dat door infosessies te geven binnen de academische context, maar gaan ook naar de bedrijven. Zij zorgen voor persaandacht of promoten het wetenschappelijk rekenen en VSC op verschillende congressen en andere activiteiten. Daarnaast verzorgen zij de website en zorgen voor materiaal dat op de verschillende events kan worden gebruikt.

Basis gebruikersondersteuning

Infrastructuurbeheerders

Outreach

Systeembeheer

Om een HPC-infrastructuur effectief te exploiteren en te ondersteunen, zijn verschillende ICTprofielen nodig. In grote lijnen gaat het over de volgende profielen:

Infrastructuurbeheer

Profielen

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 57

KU Leuven UAntwerpen UGent

7 5 5

7 3 8

10 7 4

8 5 5

4 3 4

6 2 2

UHasselt VUB Totaal

0 5 22

0 3 21

1 7 29

1 4 23

1 7 19

1 4 15

Systeembeheerders Deze personen staan in voor het installeren en beheren van de basissoftware op de HPC-machines. Dit gaat van het operating systeem tot de scheduling software. Zij staan in voor de dagelijkse monitoring van HPC-systemen. Zij ontwikkelen software voor het efficiënt beheren van de HPCsystemen. Ze werken mee aan de aankoopdossiers rond de architectuur van de HPC-machine en de beheersoftware.

Gebruikersondersteuners Deze personen staan in voor de basisondersteuning van de gebruikers. Ze bemannen de eerstelijnshelpdesk en helpen gebruikers bij hun eerste kennismaking met de machine. Ze installeren de gebruikerssoftware en helpen de gebruikers bij het efficiënt gebruik van de machine. Ze staan in voor de documentatie en geven basisopleidingen.

Wetenschappelijke of gevorderde ondersteuners Deze personen staan in voor het optimaliseren van de gebruikerssoftware op de HPC- machines. Hiervoor werken ze dikwijls een langere tijd samen met één gebruiker en geven gevorderde opleidingen. Deze personen staan ook in voor het bijsturen van de scheduler software zodat die beantwoordt aan de noden van de gebruikers. Ze staan in voor het opzetten van acties met als doel het bewustmaken van de meerwaarde van HPC en het aantrekken van nieuwe gebruikers. Ze werken mee aan de aankoopdossiers rond de user requirements en de benchmarks.

Projectleiders Deze personen hebben de directe leiding over de HPC-teams of leiden grotere HPC- projecten. Ze staan in voor de inbedding van de lokale HPC in de omgeving van het VSC. Ze staan in voor de coördinatie van HPC-initiatieven en gebruikersgroepen binnen de eigen instelling. Ze zijn verantwoordelijk voor de rapportering aan de subsidieverleners. Ze hebben een eindverantwoordelijkheid in aankoopdossiers.

Tabel 14. Aantal personen die betrokken zijn per ICT-profiel

58 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Gevorderde ondersteuning Om gevorderde en wetenschappelijke ondersteuning te kunnen leveren aan de eindgebruikers, is domeinexpertise meestal een pluspunt. Het is echter onmogelijk om binnen elke instelling domeinexpertise op te bouwen voor een breed aantal specifieke gebieden. Daarom is het goed een overzicht te behouden van de verschillende expertises die binnen het VSC aanwezig zijn zodat over de instellingen heen gebruikers beroep kunnen doen op gevorderde expertise wanneer ze deze nodig hebben. Computational Chemistry

personen met wetenschappelijke ervaring in dit domein Physics

personen met wetenschappelijke ervaring in dit domein Engineering

personen met wetenschappelijke ervaring in dit domein Mathematics (Numerical Methods)

personen met wetenschappelijke ervaring in dit domein Computer science

personen met wetenschappelijke ervaring in dit domein Bioinformatics

personen met wetenschappelijke ervaring in dit domein Humanities

personen met wetenschappelijke ervaring in dit domein

Afbeelding 39. Aantal geavanceerde ondersteuning in wetenschappelijke domeinen

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 59

60 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 61

Outreach naar bedrijven In 2021 werkte VSC verder aan de uitbouw van contacten en samenwerkingen met bedrijven in Vlaanderen. Toch is er een impact omdat het netwerken op live evenementen er nu al een tweede jaar op rij niet was. Op de door VSC georganiseerde online evenementen zijn telkens industriële klanten en prospecten aanwezig maar de interactie verloopt moeizamer. Wel kon er dit jaar voor het eerst gebruikt gemaakt worden van een outreach budget. Organisaties in Vlaanderen konden voorstellen indienen voor de aanmaak van VSC demo materiaal en konden aanvragen doen voor uitgebreide HPC ondersteuning.

Testgebruikers Niet-academische organisaties in Vlaanderen kunnen via een exploratory grant de VSC Tier-1 dienstverlening uit te testen. Ze krijgen daarbij 500 nodedagen kosteloos ter beschikking. In 2021 maakten vijf bedrijven en één Vlaams agentschap hiervan gebruik. Minstens de helft daarvan zal in 2022 VSC klant worden.

Bestaande en nieuwe klanten Een fractie van het gebruik op Tier-1 is toegewezen aan industriële klanten. Het gaat hier over zowel kleine als grote bedrijven, start-ups en gevestigde bedrijven, in allerlei domeinen (bv. in biotechnologie, de energiesector, productontwikkeling, etc.). Belangrijk hierbij te vermelden is dat de hoeveelheid gebruik door industrie in de laatste jaren enorm is gestegen (zie afbeelding 40. VSC Tier-1 nodedagen door industrie per bedrijf). Bedrijven zetten de VSC dienstverlening in voor bv. het simuleren van nieuwe materialen, dit wil zeggen dat in plaats van het fysiek bouwen van nieuwe materialen bedrijven materialen virtueel gaan simuleren en testen. Tier-1nodedagen nodedagen door door industrie industrie Tier-1 25000 25.000 20000 20.000 15000 15.000 10000 10.000 5000 5.000 00

2017 2017 lt1_i_001 lt1_i_002 lt1_i_001 lt1_i_002

2018 2018 lt1_i_003 lt1_i_003

2019 2019 lt1_i_005

2020 2020

lt1_i_007 lt1_i_005lt1_i_006lt1_i_006

lt1_start lt1_i_007

Afbeelding 40. VSC Tier-1 nodedagen door industrie per bedrijf

2021 2021

lt1_start

HPC noden bij kmo’s blijken vooralsnog heel beperkt te zijn. Dit heeft zowel te maken met het onbekend zijn met de mogelijkheden alsook het gebrek aan interne kennis. Daar staat tegenover dat in VSC de meer domeinspecifieke kennis ontbreekt om concreet business cases voor deze bedrijven te helpen uitwerken. In het kader van EuroCC is er in 2021 een oplijsting gebeurd van bedrijven in België die in aanmerking komen voor HPC/HPDA/AI ondersteuning. Het plan is om specifiek in Vlaanderen in 2022 door een consultancy bureau en/of universiteit een opdracht rond het in kaart brengen van de HPC markt te laten uitvoeren. In 2021 gebeurde er, in het kader van deze opdracht, al een eerste bevraging van de markt. De deadline (twee maanden) was toen echter te kort voor bedrijven om een rapport te kunnen opleveren en/of ontbrak er binnen de aangeschreven organisaties de expertise in High Performance Computing.

Vraag naar VSC demo materiaal VSC vroeg aan Vlaamse organisaties en bedrijven om voorstellen in te dienen rond de creatie van HPC-gerelateerd demomateriaal. Dit materiaal kan dan dat door het VSC-personeel en leden van de industriële raad (na enige opleiding) gebruikt worden voor de verdere promotie van HPC naar de Vlaamse industrie. De ontvangen voorstellen werden door de VSC industriële raad op drie momenten (18/10, 18/11 en 23/12) beoordeeld op prijs, haalbaarheid, leveringstermijn, en concrete uitwerking m.b.t. de uitvoering van de opdracht (kennis rond supercomputing, presentatie van het demomateriaal en de geselecteerde business case, het bedoelde gebruik en doelpubliek dat men voor ogen heeft). In totaal ontving VSC 12 voorstellen voor de creatie van HPC demomateriaal. Zes projecten daarvan, voor een totaal van 73.700 €, werden door de VSC industriële raad goedgekeurd.

Titel

Organisatie

Practical materials AI: an HPC hands-on session Facilitating the use of AlphaFold on the HPC DYNABIC CFD simulation: microfluidic system COSTA 3D Assembly manufacturing quality assurance Totaal

ePotentia VIB Voxdale Voxdale Creaflow Flanders Make 39

Tabel 15. Voorstellen voor de creatie van HPC demomateriaal.

Kostprijs (incl. BTW) 10.000 € 4.000 € 10.000 € 14.000 € 12.100 € 23.600 € 73.700 €

62 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 63

Uitgebreide HPC ondersteuning

Een korte omschrijving per goedgekeurd project: DVSC_2021_4074_D_VIB: AlphaFold is a very accurate protein structure prediction tool. VIB’s main aim is to provide demo material in the form of blog posts. A further aim is to provide adapted scripts to further enhance the functionality of the standard AlphaFold script, allowing, amongst others, further modifications of the input and prediction settings, and more meaningful output visualizations.

DVSC_2021_4073_D_ePotentia The goal is to develop an HPC-focused hands-on session following the case studies from the currently available AI for Materials Industry course (i.e. detection of defects on steel plates from images). The hands-on session would serve both as a general AI introduction as well as topic-specific use cases. The idea is to expand the existing case studies with additional HPC insights. The resulting theoretical session can then be followed by a practical implementation.

VSC lanceerde een oproep gericht aan organisaties in Vlaanderen voor uitgebreide HPC ondersteuning. Bedoeling is dat VSC-medewerkers met de geselecteerde organisaties samen werken om op HPC in hun R&D-omgeving te introduceren, bestaande workflows te optimaliseren of om performance bottlenecks weg te nemen. Om in aanmerking te komen voor een aanvraag moet de organisatie: Ê de mankracht en de domeinexpertise hebben om samen met de VSC-experts te werken aan het project; Ê kunnen bijdragen aan de promotie van het project (vb. VSC Success Story); Ê een knowledge unit indienen (technisch eindrapport, leermateriaal, demo, ...) met de projectresultaten. De projectaanvragen werden door de industriële raad op twee momenten (18/10 en 18/11) beoordeeld op kwaliteit van de concrete opdracht (business case, kennis rond supercomputing, business case, etc.) en haalbaarheid (in samenwerking met het operationele team van VSC). In totaal werden drie projecten ingediend. Al deze projecten zijn door de VSC industriële raad goedgekeurd. Een overzicht:

DVSC_2021_4077_D_Voxdale Thanks to DYNABIC, 3D scanning and computational fluid dynamics (CFD), Voxdale are able to give cyclists the superior cycling experience. With HPC fully available, the calculation of CFD value per pose is a matter of minutes. They want to develop a demo video to communicate 1) the current use of DYNABIC including added value for both elite and amateur cyclists, 2) present a scenario of use when DYNABIC is complemented with HCP and 3) translate this into an animation or short video (e.g. interview).

DVSC_2021_4082_D_Voxdale Together with Antares (imec spin-off) Voxdale will focus on key microfluidic system components (e.g. capillary valve, blood/plasma separation). They will model the computationally intensive physics that are important in this application (e.g. multiphase fluid, surface tension, fluid/particle interaction). The deliverable will be an animation or short video (e.g. interview).

DVSC_2021_4083_D_CREAFLOW Together with a partner specialized in the field of Digital Engineering (Infranea), Creaflow will transform raw CFD data into a visually appealing 3D video simulation. The simulation will show that complex processes, such as the fluid flow behaviour inside of their reactor system, can be translated into an easy-to-understand video.

DVSC_2021_4084_D_FlandersMake A composite intermediate product is assembled by a worker. A camera and edge computer track the progress, assist the operator by highlighting the next operation, and check that the major parts are assembled in the correct order and that they are oriented correctly to each other. The end result is a short video showing the demo, and explaining that (re)training and thus deployment of models, as well as adapting the system to new product lines.

Titel

Organisatie

Efficient MPI Parallelisation of Mpacts DEM solver Mpacts Confidential Puxano Confidential Atlas Copco Tabel 16. Overzicht van goedgekeurde industriële projecten voor uitgebreide HPC ondersteuning

Aantal manmaanden VSC 1 1 0,35

64 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 65

Opleidingen Het VSC besteedt de nodige tijd aan het ondersteunen en opleiden van onderzoekers die gebruikmaken van de infrastructuur. Het is belangrijk dat berekeningen efficiënt uitgevoerd worden om zo de wetenschappelijke competitieve positie van de universiteiten in het internationale onderzoekslandschap te vergroten. Opleidingen door het VSC georganiseerd zijn niet alleen bedoeld voor onderzoekers verbonden aan Vlaamse universiteiten en hun respectievelijke associaties, maar ook voor onderzoekers die werken in de Strategische Onderzoekscentra, de Vlaamse wetenschappelijke onderzoeksinstellingen, de industrie en overheidsdiensten. De opleidingen kunnen worden ondergebracht in vier categorieën die ofwel de vereiste voorkennis aangeven, ofwel verduidelijken dat het om domeinspecifieke onderwerpen gaat: z Introductory z Intermediate z Advanced z Specialist courses & workshops Introductory-cursussen zijn bedoeld voor alle gebruikers van de infrastructuur en worden ten zeerste aanbevolen aan wie nog niet over de nodige vaardigheden beschikt. De plaatselijke VSCmedewerkers leiden deze sessies. Dat biedt onderzoekers ook de kans om kennis te maken met de personen die de vragen beantwoorden die aan de helpdesk worden gesteld. Dat neemt het onpersoonlijke en anonieme karakter van het e-mailverkeer weg. Om de sessies op het intermediate niveau te volgen, zijn de introductory-cursussen als voorkennis vereist. Deze sessies behandelen dan ook specifiekere onderwerpen. De meerderheid van deze cursussen is bedoeld voor gebruikers die zelf software ontwikkelen, hetzij voor rekenintensieve toepassingen, hetzij voor pre- en postprocessing van data. Omdat deze opleidingen gespecialiseerder en intensiever zijn dan de introductory-opleidingen, worden ze niet op elke VSC-site gegeven. Gebruikers worden dan ook aangemoedigd de opleidingen op een andere site bij te wonen.

Opleidingen op advanced niveau vereisen nog meer ervaring en zijn domeinspecifieker dan de intermediate opleidingen. Voor deze cursussen doet het VSC een beroep op externe lesgevers. Vaak zijn ze verbonden aan PRACE Advanced Training Centers (PATC) of komen ze uit de industrie. Vanwege de pandemie werd in 2021 geen beroep gedaan op externe experts. Het aanbod aan PRACE trainingen werd echter geregeld onder de aandacht gebracht via sociale media. Sommige opleidingen passen in geen van deze drie niveaus: ofwel zijn ze te domeinspecifiek, ofwel omvatten ze het volledige introductory tot advanced niveau. Dit verklaart de term “specialist”. In 2021 organiseerde het VSC een winterschool over het efficiënt gebruik van OpenFOAM, een applicatie voor computationele vloeistofdynamica. 30 deelnemers uit 6 landen volgden deze online school die gegeven werd door Matej Forman (OpenFOAM training coordinator, ESI Group). Door de COVID-pandemie zijn zowat alle opleidingen online doorgegaan, op enkele uitzonderingen in de herfst van 2021 na. In totaal telden we voor het eerst meer dan 1.000 deelnemers aan onze trainingen. Het videomateriaal dat via YouTube beschikbaar, is wordt gebruikt, maar kan zeker nog meer gepromoot worden. Afbeelding 42. PRACE “Training” webpagina

Afbeelding 43. VSC “YouTube” kanaal

Afbeelding 41. VSC “Training & Events” webpagina

66 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 67

Tijdens ISC 2021 werkten VSC medewerkers mee aan de organisatie van een “birds of a feather” sessie rond training. Er waren een zestigtal deelnemers en de feedback was zeer positief. VSC staf kan ook ondersteuning bieden aan docenten die voor reguliere cursussen gebruik willen maken van VSC infrastructuur. In 2021 was dit het geval voor vier cursussen. Uiteraard zijn er ook docenten die hun studenten zelf wegwijs maken.

De vierde run van de MOOC “Defensive programming and debugging” ontwikkeld voor PRACE had iets meer dan 1.000 deelnemers. De eerste run van de MOOC “Fortran for scientific computing” telde 430 deelnemers en kreeg zeer lovende feedback. Een pluspunt van deze vorm van training is ongetwijfeld het erg internationale karakter. Het laat toe deelnemers te bereiken in landen waar dit soort trainingen niet aangeboden worden. Aan deze MOOCs werd deelgenomen vanuit respectievelijk 78 en 98 verschillende landen.

Uiteraard worden de bestaande opleidingen steeds up-to-date gehouden met recente ontwikkelingen, maar er worden ook jaarlijks nieuwe onderwerpen voor training geselecteerd en uitgewerkt. In 2021 werd bijvoorbeeld een training over de programmertaal Julia uitgewerkt, evenals materiaal over GPU computing. De website van het VSC maakt het opleidingsaanbod bekend, zodat de informatie voor alle geïnteresseerden beschikbaar is. Via interne mailinglists worden de aankondigingen verspreid onder de gebruikers van de infrastructuur. Gerichte mailings vestigen de aandacht op specifieke opleidingen als die nuttig kunnen zijn voor een beperkte doelgroep of voor potentiële gebruikers. De Belgische NCC startte in november 2021 met disseminatie via Twitter en LinkedIn, en ook via deze kanalen worden trainingen aangekondigd. advanced

specialist

intermediate

Afbeelding 44. Globale spreiding van de deelnemers aan de MOOC “Defensive programming.

Het VSC participeert sinds september 2020 ook in het EuroCC National Competence Center voor het training work package. Hiervoor werd het HPC opleidingsaanbod in België in kaart gebracht. Het VSC nam deel aan verscheidene activiteiten rond training en deelde onder meer ervaringen met en best practices rond MOOCs. VSC staf gaf een reeks van vier trainingen aan de LUMI support staf over het gebruik van de software installatie tool EasyBuild, ontwikkeld door het VSC.

VSC training 2021

1002

participants introduction

PRACE MOOCs

training events

1 external specialist

1 PRACE school OpenFOAM

15 topics Machine learning MPI OpenMP C++ C HPC intro Linux Python

Debugging Fortran Optimaization Data science Containers Software engineering Interactive computing

Afbeelding 45. VSC training overzicht 2021

68 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Evenementen

In 2021 organiseerde VSC veelal online evenementen. Dit vooral ter gelegenheid van een aantal bijzondere gebeurtenissen zoals de lancering van de VSC Tier-1 Cloud component en de kick-off van LUMI-BE. VSC organiseerde daarnaast slechts één live event in Gent in samenwerking met TTO UGent, Imec en AI4Growth, nadat vier andere evenementen moesten worden geannuleerd.

LUMI-BE kick-off Op 14 januari vond de LUMI-BE kick-off plaats, dit event werd officieel geopend door Thomas Dermine, staatssecretaris voor wetenschappelijk onderzoek bij de Federale overheid. Pekka Manninen, programma directeur bij CSC in Finland, gaf gedetailleerde toelichting over de nieuwe supercomputer. Daarnaast kwamen nog een aantal use cases aan bod. In totaal namen meer dan 250 HPC enthousiastelingen deel aan het online event. Meer details en linken naar de presentaties kunnen hier gevonden worden.

VSC Tier-1 Cloud component kick-off Op 20 mei vond er het launch event voor de Tier-1 Cloud component plaats. 150+ geïnteresseerden kregen een overzicht van de beschikbare infrastructuur, use cases (LifeWatch en VIB) en meer informatie over de call voor onderzoekers. Meer details en linken naar de presentaties kunnen hier gevonden worden.

VSC Lunch session In oktober organiseerde VSC een eerste VSC Lunch Session. Thema voor de sessie was artificiële intelligentie. Het opzet is om over de middag, online, een specifiek topic uit te lichten. In eerste instantie geeft een VSC medewerker een overzicht over de mogelijkheden. Hier werd voor deze sessie gefocust op de toegangsmogelijkheden voor GPU’s op Tier-1 en Tier-2. Daarnaast kwamen AI toepassingen in specifieke sectoren aan bod. ePotentia voor de materialenindustrie, Flanders Make in de maakindustrie. Meer dan 180 geïnteresseerden namen deel. De volledige presentaties kunnen hier gevonden worden.

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 69

VSC Industry Road Tour De bedoeling was om tijdens het najaar van 2021 vijf VSC Industry Road Tour events te organiseren. In samenwerking met UHasselt en KU Leuven zouden er twee evenementen rond HPC in de gezondheidzorg plaatsvinden. Samen met VUB en Green Energy Park startte VSC met de voorbereidingen rond HPC in de energiesector. In Antwerpen zou het event over logistiek in en rond de Schelde de focus zijn. En in Gent lag de klemtoon op artificiële intelligentie. Tot grote spijt kon omwille van corona enkel het event in Gent doorgaan. De sessie werd in samenwerking met AI4Growth georganiseerd. Een vijftiental partners uit het AI4Growth partnernetwerk kregen een presentatie van AI specialist, Aleksi Kallio, bij LUMI. De integrale presentatie, met als titel ‘The true promise of high-performance computing for AI”, kan hier worden herbekeken.

70 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 71

Internationale samenwerking EuroHPC, LUMI, EuroCC, PRACE VSC is ook actief in een aantal Europese projecten, waaronder PRACE en EuroHPC (LUMI, NCC). PRACE biedt in Europa ondersteuning om HPC in onderzoek te faciliteren en optimaliseren. Enerzijds is er, via het indienen van projecten, toegang tot Europese supercomputers voor academische en industriële gebruikers. Bij de aanvragen voor rekentijd in Call 23 was er een project vanuit Vlaanderen, dat spijtig genoeg geen rekentijd toegekend heeft gekregen. Anderzijds zijn er de PRACE IP projecten. Het PRACE 6IP project, gestart in mei 2019, loopt af in juni 2022. De universiteiten van Antwerpen en Leuven zijn de Vlaamse partners in het dit project. KU Leuven ontwikkelt binnen WP 4 trainingen en MOOCs. Zo was er in april 2021 de “OpenFOAM Seasonal School”. Er werd een vierde run gedaan van de MOOC “Defensive programming and debugging” en een eerste run van de MOOC “Fortran for scientific computing”. UAntwerpen is actief binnen WP 7, waar het bedrijven ondersteunt binnen “Preparatory Access” en “SHAPE”, en daarnaast meewerkt aan de Unified European Application Benchmark Suite (UEABS). EuroHPC is een initiatief van de EU om een “World Class Supercomputing Ecosystem” in Europa uit te bouwen. Twee van de EuroHPC projecten waarin ook VSC betrokken is, zijn LUMI en EuroCC. Daarnaast zijn ook onderzoeksgroepen rechtstreeks actief binnen specifieke projecten in het EuroHPC werkplan: DEEP-SEA en TIME-X. LUMI is één van de drie pre-exascale supercomputers, gebouwd in Finland. Vlaanderen participeert hierin waardoor er rechtstreeks rekentijd beschikbaar komt voor onderzoekers. Om LUMI voor te stellen aan de onderzoekers in België, werd op 14 januari “EuroHPC’s LUMI kick-off event” (online) georganiseerd. Daarnaast werd in 2021 met verschillende onderzoeksgroepen en bedrijven ook bekeken of en welke interesse er is voor toekomstig gebruik van LUMI. Als eerste Vlaams pilootproject voor LUMI werd LIFTHRASIR (LumI First Tests of the HaRdware Architecture by Simulations of Interplanetary Regions) van Giovanni Lapenta (KU Leuven) gekozen. Daarnaast was er tegen het einde van het jaar ook een twee pilootproject “Numerical weather predictions at hectometric resolutions” actief met onderzoekers van KMI en UGent. In december werd ook een eerste beperkte oproep voor reguliere toegang gelanceerd. Hierbij werd het project “Discovery of the binding pockets of dipeptidyl peptidase 4,8 and 9 using cosolvent molecular dynamics simulations” van Hans Dewinter (UAntwerpen) geselecteerd. EuroCC, Nationale Competentie centrum rond HPC, is het tweede grote EuroHPC project waarbij VSC betrokken is. Het project is gestart op 1 september 2020. De Vlaamse cofinanciering liet op zich wachten tot de zomer van 2021, waardoor de opstart vertraagd was. Vlaamse universiteiten werken mee aan elk van de taken en kunnen daarbij rekenen op de steun van FWO. Eén van de doelen is om industrie beter te betrekken bij HPC door hun noden goed te begrijpen en in kaart te brengen en hen te ondersteunen waar nodig.

Een ander doel is als NCC zichtbaar te zijn. Daarvoor werden reeds verschillende kanalen geactiveerd, bv. een website (https://www.enccb.be/), Twitter-account (https://twitter.com/ EuroCC_Belgium) en een LinkedIn-pagina (https://www.linkedin.com/company/ eurocc-belgium/). Dit project zorgt er verder voor dat er binnen België én met andere Europese landen rond HPC meer en beter wordt samengewerkt.

EGI

Afbeelding 46. Website van EuroCC Belgium

Het VSC is actief aanwezig bij het European Grid Infrastructure-gebeuren (EGI). De VUB grid-cluster is geïntegreerd in de EGI federated e-Infrastructure en door de steun van internationale virtuele organisaties biedt het op deze manier de mogelijkheid aan onderzoekers uit Vlaanderen om deze Europese rekeninfrastructuur te gebruiken. Vooral hoge-energie-fysici van de UAntwerpen, de UGent en de VUB maken hiervan gebruik. Enkele voorbeelden zijn: z De grid-cluster ondersteunt de internationale samenwerking “IceCube”. Onderzoekers van de VUB en de UGent zijn hierin actief. z De internationale onderzoeksgroep “SoLid”, met onderzoekers van onder meer UGent, UAntwerpen en VUB die neutrino-oscillaties bestudeert op een heel korte afstand van de kern van een reactor in het SCK-CEN te Mol werd opgestart. Deze onderzoeksgroep maakt, met ondersteuning vanuit het VUB-grid-team, gebruik van de EGI grid middleware om op een eenvoudige manier gegevens te delen over de deelnemende universiteiten heen. z Daarnaast zijn de projecten WeNMR (NMR spectroscopie), LOFAR (lage frequentie radio astronomie), AUGER (hoge energie komische straling), ARA (neutrino detector op de zuidpool) en RADAR (ook neutrino detector maar via radiogolven) ook een actieve gebruikers van de grid-cluster.

72 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Succesverhalen Hierna volgen enkele getuigenissen over het gebruik van supercomputers voor onderzoek, industrie, innovatie en maatschappelijke voordelen. We tonen voorbeelden van hoe universiteiten en bedrijven, private en publieke organisaties supercomputers gebruiken om doorbraken van groot wetenschappelijk of economisch belang te bereiken. Deze prestaties, waarvan vele werden bereikt dankzij toegang tot zeer krachtige supercomputers en HPC-experts bij het Vlaams Supercomputer Centrum, hebben al geruime tijd onderzoekers en bedrijven immense efficiëntie, zowel in werkuren als in euro’s, opgeleverd.

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 73

74 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 75

Giovanni Lapenta| Genomics | KU Leuven Alvaro Cortes

Frederik Coppens | VIB | Tier-1 cloud

zonne-uitbarstingen - en hunvan impact voorspellen. Dergelijke simulaties zijn computationeel De kansen en mogelijkheden onzetesupercomputers zijn werkelijk verbluffend. Álvaro Cortés een grote van uitdaging maarCore bijzonder voor supercomputing. Calabuig Genomics Leuveninteressant (UZ Leuven & KU Leuven) vertelt ons zijn succesverhaal over hoe onze supercomputers en ons ondersteuningsteam alle computationele mogelijkheden boden voor de analyse van DNA-sequencinggegevens.

Frederik is “Head of Node” van ELIXIR België en IT manager bij VIB-UGent. Hij gebruikt de VSCcloudresources om diensten voor databeheer en data-analyse in te zetten voor life scienceonderzoekers. Ontdek hoe het inzetten van services op de VSC-cloud het heel gemakkelijk maakte om samen te werken met verschillende instituten in Vlaanderen, waardoor het mogelijk werd om de middelen te schalen op basis van de behoeften van de wetenschap.

Core UZ Leuven | Prof. Giovanni Lapenta is professor DNA sequencing data Plasmafysica analysisaan de KU Leuven. Zijn onderzoek heeft Space Weather als onderwerp. Deze discipline probeert stormen - die worden veroorzaakt door

bekijk hier

76 Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be

Jaarverslag 2021 | info@vscentrum.be | www.vscentrum.be 77

Bijlagen Toegekende Tier-1 compute 2021 Code

Onderzoeker

Instelling

Wetenschapsdomein

Code

Onderzoeker

Instelling

Wetenschapsdomein

2021-01 2021-02 2021-03

Danny Vanpoucke Flavio Siro Brigiano and Frederik Tielens Samuel Neale, Pieter Cnudde, Massimo Bocus and Veronique Van Speybroeck Xavier Deraet, Jan Turek and Frank De Proft

Hasselt University Vrije Universiteit Brussel Ghent University

Fysica Chemie Moleculaire modellering

Vrije Universiteit Brussel

Chemie

Bart Ripperda, Lorenzo Küchler, Thomas Hertog, Bert Vercnocke and Daniel Mayerson Siebe Vanlommel and Veronique Van Speybroeck Thijs Bon Aryan Afzalian and Rutger Duflou Florian Wéry, Laurien Vandewalle and Kevin Van Geem Wilfried de Corte Joris Van Bever Jack Jenkins, Nitin Yadav, Xiaohong Li and Rony Keppens Juul De Vos and Veronique Van Speybroeck Yi Ouyang and Kevin Van Geem Francesco Pucci and Fabio Bacchini Fabio Bacchini, Xiaozhou Zhao and Rony Keppens Alexander Hoffman, Aran Lamaire and Veronique Van Speybroeck Maarten Cools-Ceuppens, Michael Sluydts, Toon Verstraelen and Stefaan Cottenier Vishal Yadav and Yuri Coutinho Evangelia Samara and Nicolas Wijsen Aran Lamaire, Alexander Hoffman and Veronique Van Speybroeck Paulo Mileo and Veronique Van Speybroeck Lieven Bekaert Emerick Guillaume Yuhao Zhou, Rony Keppens Yi Ouyang Alexander Hoffman Küchler Lorenzo, Ripperda Bart, Hertog Thomas, Vercnocke Bert, Mayerson Daniel Vorobieva Anastassia Truyens Anne-Julie Marchi Sylvain Cnudde Pieter Braeckevelt Tom Vervust Wouter Lamaire Aran Ben Khalifa Malek Brchnelova Michaela Vanlommel Siebe Vanlommel Siebe Arts Ine Saniz Rolando

KU Leuven

Astronomie en astrofysica

Ghent University KU Leuven IMEC Ghent University

Moleculaire modellering Technologie Technologie Technologie

Ghent University Vrije Universiteit Brussel KU Leuven

Psychologie Aardwetenschappen Astronomie en astrofysica

Ghent University Ghent University KU Leuven KU Leuven Ghent University

Moleculaire modellering Technologie Astronomie en astrofysica Astronomie en astrofysica Moleculaire modellering

2021-47 2021-48 2021-49 2021-50 2021-52 2021-53 2021-54 2021-55 2021-56 2021-57 2021-58 2021-59 2021-60 2021-61 2021-62 2021-63

Vrije Universiteit Brussel KU Leuven Ghent University Ghent University KU Leuven KU Leuven KU Leuven Vrije Universiteit Brussel KU Leuven Ghent University KU Leuven KU Leuven Ghent University Vrije Universiteit Brussel KU Leuven KU Leuven

Chemie Technologie Technologie Technologie Astronomie en astrofysica Astronomie en astrofysica Technologie Aardwetenschappen Astronomie en astrofysica Fysica Life sciences Astronomie en astrofysica Moleculaire modellering Life sciences Technologie Astronomie en astrofysica

Ghent University

Moleculaire modellering

KU Leuven KU Leuven Ghent University

Technologie Moleculaire modellering Moleculaire modellering

Margarita Koreta Nunez Ares Jose Santos Sara Rommens Konstantijn Sayamanthula, Krishna Prasad & Magyar, Norbert MOENS Nicolas (PI), PONIATOWSKI, Luka Meyers, Johan Van Bever, Joris Bacchini, Fabio Vanpoucke, Danny Eric Paul Biagini, Simone Andrea Malfait, Jolien Cnudde, Pieter BICKEL, David; VRANKEN, Wim Meyers, Johan Küchler, Lorenzo; Ripperda, Bart; Hertog, Thomas; Vercnocke, Bert; Mayerson, Daniel Bonheure, Mike Afzalian, Aryan Wijsen, Nicolas Pynaert, Niels Tribhuwan Pandey Boohalli Shivamallegowda, Greeshma Lamaire Aran

Ghent University IMEC KU Leuven Ghent University University of Antwerp Vrije Universiteit Brussel Ghent University

Technologie Technologie Astronomie en astrofysica Technologie Fysica Technologie Moleculaire modellering

Ghent University Vrije Universiteit Brussel Hasselt University KU Leuven Ghent University Ghent University KU Leuven

Moleculaire modellering Chemie Fysica Astronomie en astrofysica Technologie Moleculaire modellering Astronomie en astrofysica

VIB Vrije Universiteit Brussel KU Leuven Ghent University Ghent University Ghent University Ghent University KU Leuven KU Leuven Ghent University Ghent University University of Antwerp University of Antwerp

Life sciences Chemie Aardwetenschappen Moleculaire modellering Moleculaire modellering Moleculaire modellering Moleculaire modellering Chemie Astronomie en astrofysica Moleculaire modellering Moleculaire modellering Fysica Fysica

2021-04 2021-05 2021-06 2021-07 2021-08 2021-09 2021-10 2021-12 2021-13 2021-14 2021-15 2021-16 2021-17 2021-18 2021-19 2021-20 2021-21 2021-22 2021-24 2021-26 2021-27 2021-28 2021-29 2021-30 2021-31 2021-32 2021-33 2021-34 2021-35 2021-36 2021-37 2021-38 2021-41 2021-42 2021-43 2021-44 2021-45 2021-46

2021-64 2021-67 2021-68 2021-69 2021-70 2021-71 2021-72

European context a VSC staff member is part of the support team of LUMI (Large Unified Infrastructure). LUMI will |bewww.vscentrum.be one of the pan-European pre-exascale supercomputers Jaarverslag 2021 | info@vscentrum.be 78Modern and one of the most competitive supercomputers in the world.

Technopolis rapport The table below presents a summarised overview of the VSC “as is” and is based on information Overzicht van desk VSCstudy “As Is” collected through and interviews that is presented in part 1 of the report. Table 1

Overview of the VSC “as is”

Category Vision and mission

Part of the VSC • Aim to bring knowledge from the broad research community in Flanders together • Aim to promote the importance and added societal value of computing

Infrastructures

Not part of the VSC • Vision for the future

• Uniform organisation of Tier-2 infrastructure

• Tier-2 infrastructures at four universities

• RDM infrastructure (open science)

• Tier-1 infrastructure

• Data security, quick access and guaranteed capacity

• Consortium-like organisation based on cooperation between partners • Wide stakeholder input