Tarkastelujakso 1.1.-30.4.2021

Tarkastelujakso 1.1.-30.4.2021 

• • Verkon käyttömäärät
    • Ulkomaa
      • Liikennemäärän kasvu jäänyt toistaiseksi toteutumatta, mutta liikennemäärä vakaata. Pilvipalveluiden siirtyminen kotimaahan vaikuttaa suoraan ulkomaanliikenteen määrään.
    • Kotimaa
      • Liikennemäärä jatkanut kasvamistaan, erityisesti mm. Funet Miitti Zoomin siirtyminen Espoon konesaliin näkyy liikennepainopisteen siirtymisenä kotimaisiin Ficix-liikennepisteisiin, jossa kasvu ollut voimakasta koko pandemian ajan.
      • Liikennemääräkuvaaja Funet-verkon Ficix-liittymissä 2 edellisen vuoden ajalta: 
  • Verkon ja sen palveluiden laatu/saatavuus
    • • Yhteyspalveluiden laatu ja saatavuus säilynyt hyvällä tasolla. Kuitukatkot eivät ole aiheuttaneet katkoa palveluihin. Tammikuussa oli laitevika, joka aiheutti katkoa mm. Azure-ExpressRoute käyttäjille Funetissa.
  • Kehityshankkeiden eteneminen
    • • Funet 2020 -verkon rakentaminen ja yhteyssiirrot saatu täysin valmiiksi. Funet2007-verkko puretaan vielä Pohjois-Suomen laitetiloista Q3/2021 loppuun mennessä.
  • Asiantuntijatuki RT servicedeskin kautta tikettien määränä kuukausittain
  • 

Tarkastelujakso 1.1.-30.4.2021

• • Funet-verkon tietoturvatilanne on ollut tarkastelujaksolla normaali. Funet CERT vastaanotti ja käsitteli tavanomaisen määrän haavoittuvuusilmoituksia. Funet Tutkain -palvelun saavutettavuus oli hyvällä tasolla.

Tarkastelujakso 1.1.-30.4.2021

• • Verkkovierailupalvelu eduroamin käyttö on jäänyt tarkastelujaksolla Suomessa noin puoleen siitä, mitä käyttö oli aikaan ennen pandemiaa. CSC on jatkanut maltillisia ponnisteluja eduroam-peittoalueen edelleenlaajentamiseksi Suomessa. Tällä hetkellä noin 18 itse eduroamiin kuulumatonta organisaatiota tarjoaa eduroam-kuuluvuutta toimipisteissään vieraileville.
  • 

Tarkastelujakso 1.1.-30.4.2021

Fairdata-verkoston toiminta

• Fairdata-verkosto on yhteistyöverkosto, jossa mahdollistetaan Fairdata-palveluiden tuottajan CSC:n sekä palveluita hyödyntävien organisaatioiden yhteistyö. Verkostossa käsitellään muun muassa palveluiden kehityssuunnitelmia ja muita keskeisiä kehityskohteita. Näin mahdollistetaan palveluiden suoraviivainen käyttöönotto ja tehokas hyödyntäminen organisaatioissa.
• Verkosto vastaa Fairdata-palvelujen (IDA, Qvain, Etsin, Metax, Fairdata PAS) sekä Tiedejatutkimus.fi:n aineistopuolen koordinaatiotarpeisiin
  • Tiedonvälitys myös datatukiverkoston ja koulutustoiminnan välillä.

• Verkoston sähköpostilistalle liittynyt 108 osallistujaa 38 eri organisaatiosta
• Verkostolle luotu yhteinen wikitila, jossa organisaatiotason ohjeistusta ja palvelujen yhteinen julkinen kehityssuunnitelma
• Verkostolle pidetty raportointijakson aikana 2 kokousta (70 ja 54 osallistujaa) ja 1 IDA-hallintamalliaiheinen työpaja (47 osallistujaa)
  • IDA-hallintamallityöpajaan liittyen verkostolta kerättiin kyselyllä palautetta valmisteilla olevista päätöksistä
  • Työpajojen muistiinpanot ja tallenteet löytyvät verkoston wikitilasta

Fairdata-kokonaisuuteen liittyvä viestintä

• Qvain-käyttöoppaat (FI/EN) verkkosivuilla uudistettu laajasti:
  • Ohjeistus saatavilla kaikille tietomallin kentille
  • Kieliasu yhdenmukaistettu ja käytettävyyttä parannettu
• Verkkosivulla ja Twitterissä tiedotettu:
  • Fairdata-verkoston käynnistämisestä ja kokouksista
  • Tutkimusaineistojen kuvailutietojen näkyvyydestä Tiedejatutkimus.fi:ssä
  • Fairdata-koulutuksista ja Fairdata-palvelujen webinaaritallententeista.
• Fairdata.fi-sivuston julkista muutoslokia päivitetty kaikkien ulospäin näkyvien palvelumuutosten osalta ja palvelujen käyttöoppaat pidetty ajan tasalla.

Tarkastelujakso 1.1.-30.4.2021

Fairdata-palvelujen yhteiset kehityskohteet

• Käyttäjäkokemuksen parantaminen:
  • Fairdata-palvelujen yhteinen  SSO (Single Sign-On / Sign-Off) –ratkaisu käyttöönotettu tuotannossa IDAssa, Qvaimessa ja Etsimessä.
  • Uusittu Fairdata-latauskomponentti käyttöönotettu tuotannossa IDAssa ja Etsimessä. Parannuksina Etsimessä saatavilla olevien aineistojen suorituskykyisempi lataaminen ja välimuisti usein ladatuille tiedostopaketeille.
• Web-analytiikka:
  • Kaikissa Fairdata-palveluissa valmisteltu Matomon käyttöönottoa. Kehitetyllä ratkaisulla kävijäanalytiikkaa voidaan tehdä anonymisoidusti ilman evästeitä.
• Laadunvarmistus:
  • Fairdata-palvelujen ohjelmistojen kehitys- ja julkaisuprosessin tehostamiseen tähtäävät toimenpiteet on aloitettu ja työ etenee odotusten mukaisesti.
  • Tavoitteena 2021 yksinkertaistaa kehitystyötä minimoida manuaalinen työ tehokkuuden lisäämiseksi ja laadun parantamiseksi.

IDA-tallennuspalvelun käyttö ja saatavuus 

• IDAa käyttävien projektien määrä on 372 (kasvua 12 % edelliseltä tarkastelujaksolta). Projekteissa on aktiivisia IDA-käyttäjiä 827 (kasvua 10 % edelliseltä tarkastelujaksolta).
  • Projekteista 20 on suljetussa tilassa tai projektin vastuuhenkilön tunnus ei ole aktiivinen.
  • Kaikesta datasta alle 8 teratavua (alle 1 %) kuuluu projekteille, jotka ovat suljetussa tilassa tai joiden vastuuhenkilö ei ole aktiivinen.
  • Tarkastelujakson aikana 11 projektia on poistettu palvelusta vastuuhenkilön pyynnöstä.
• Dataa on noin 980 teratavun edestä (kasvua 7 % edelliseltä tarkastelujaksolta). Kaikesta datasta 460 teratavua eli 47 % prosenttia on jäädytetty.
• Saatavuus raportointijaksolla on ollut erinomainen 99,9%.

IDA -tallennuspalvelu - Palvelun käyttö vuosina 2015–2021

IDA-tallennuspalvelu - katsaus kehitykseen

• Q4/2020 hankittu 4 HPE Apollo 4510 Gen10 -palvelinta ja 1.78 PiB levyä korvaamaan IDAn vanhemmat edustapalvelimet ja niiden tallennuskapasiteetin. Palvelinten asennustyöt ja datansiirto vanhoilta palvelimilta uusille lähes tehty, palvelimet valmistauduttu ottamaan käyttöön Q3/2021 aikana.
• Palvelun sisäisiä automaattisia prosesseja, ohjelmistoversioiden valvontaa ja laadunvarmistusta parannettu
• Bugikorjauksia ja parannuksia selainkäyttöliittymään, mukaan lukien saavutettavuusparannukset

Etsin - Tutkimusaineistojen hakupalvelu
Aineistojen kokonaislukumäärä ajanjaksolla 2016–04/2021

Etsin - Tutkimusaineistojen hakupalvelu

Uusien aineistojen lukumäärä kuukausittain 2019-04/2021

Etsin, Metax, Qvain - Katsaus kehitykseen

Etsin kehitys

• Uusittu Fairdata-latauskomponentti sekä siihen liittyvät käyttöliittymämuutokset otettu käyttöön 02/2021
• Paranneltu Tunniste-kenttää kopiointitoimintoineen 02/2021
• Lisätty tuki Qvaimella luotujen kuvailutietojen luonnosten esikatseluun 02/2021
• Yhdenmukaistettu Tiedostot-välilehden näkymää ulkoisen lähteen tiedoille 04/2021
• Muita pieniä käytettävyyteen liittyviä korjauksia 01-04/2021

Qvain kehitys

• Lisätty tuki kuvailutietojen luonnosversioille ennen niiden julkaisua Etsimeen 02/2021
• Parannettu IDA-tiedostojen valintaan liittyvää näkymää 02-03/2021
• Muita pieniä käytettävyyteen liittyviä korjauksia 01-04/2021

Metax kehitys

• Otettu käyttöön uudistettu versio REST-rajapinnoista (v2) 02/2021
• Lisätty tuki DOI-tunnisteelle, kun kuvailu tehdään rajapinnan kautta 02/2021
• Valmisteltu Tiedejatutkimus.fi integraatiota ja siirrytty tuotantoon 03/2021

Etsin, Metax, Qvain - Katsaus tuotantoon

Tarkastelujaksossa palveluiden saatavuus on ollut erinomainen:

• Etsin 99,9 %
• Metax 99,9 %
• Qvain 99,9 %

Julkaistujen aineistojen määrät:

• Uusia aineistoja 01-04/2021: 224
• Kuvailutyökalun avulla: 75
• Haravoinnin ja APIn kautta: 149

Metax - Tiedejatutkimus.fi integraatio tuotantoon 31.3.2021

Metax integroitu onnistuneesti Tiedejatutkimus.fi portaaliin ja aineistojen kuvailutiedoista keskeisimmät näkyvissä portaalissa. Työ integraation eteen jatkuu ja tarkoitus on laajentaa siirtyviä kuvailutietoja ja tuoda esim. Metaxin sisältämät linkitykset muihin tutkimuksen tuotoksiin (esim. julkaisut) osaksi Tiedejatutkimus.fi-portaalia syksyn 2021 aikana.

Tarkastelujakso 1.1.-30.4.2021

Trainings for CSC Experts

Reproducible research for CSC, 18.2.2021, 24 osallistujaa
Reproducible research and data quality, 14.4.2021, 35 osallistujaa

Asiantuntijoille ja tutkijoille tarkoitetut koulutukset

Fairdata-palvelut TKI-aineistojen hallinnassa -webinaari 11.3.2021, 82 osallistujaa. Esitys siitä miten Fairdata-palvelut tekevät aineistosta löydettävän, saavutettavan, yhteentoimivan ja uudelleenkäytettävän, lisäksi Fairdata-palvelujen käyttöopastus.  Kohderyhmänä etenkin ammattikorkeakoulujen TKI-toimijat ja kirjastohenkilökunta.

Mitä tutkimuksen toistettavuus tarkoittaa -webinaari 23.4.2021, 54 osallistujaa. Webinaarissa pohdimme toistettavuutta eri näkökulmista; miten toistettavuus on mahdollista, mitä kaikkea pitää ottaa huomioon ja mitä työkaluja siihen tarvitaan.

Introduction to data management planning -video.  270 katselua. (Yhteistyössä Elixirin kanssa)

Introduction to sections of a generic ​data management plan​ - video. 118 katselua. (Yhteistyössä Elixirin kanssa)

Metadata standards for research data–video, video kertoo metatietomalleista. 150  katselua. (Tutkimustiedonhallinta Fairdata PAS-kontekstissa)

Preservation metadata –video, video kertoo pitkäaikaissäilytyksen vaatimasta metadatasta. 54 katselua. (Tutkimustiedonhallinta Fairdata PAS-kontekstissa)

Datatukiverkosto

• Organisaatioita mukana 28
• Sähköpostilistalla 103 jäsentä
• Chat-käyttäjiä 84 
• Koulutuksia (katso tutkimusdatanhallinantuki koulutusmateriaalit alla)
  • Data Stewardship Wizard -koulutus 13.4.2021 (osallistujia 54)
  • Tutkimuksen toistettavuus -webinaari

Tarkastelujakso 1.1.-30.4.2021

• General Finnish DMP Guidance 2021 ohjeen päivttämiseen osallistuminen
• Science Europen DMP-ohjeen lokalisointi-työryhmä: FINNISH DMP EVALUATION GUIDANCE 2021
• Arkaluonteisiin aineistoihin lliittyvien asioiden selvittelyä
• Tieteenalakohtaisten tiimien työ CSC:n sisällä paremman asiakastuen varmistamiseksi
  

  • Video Introduction to data management for life science researchers

  • Video CSC research data management services for life science research

  • CSC Biomonth teema seminaarit: RDM osuus

  • Tukea asiakkaiden projekteille palveluiden käytössä, datanhallinnan ja aineistojen elinkaaren hallinnan suunnittelussa

• Loppukäyttäjätuki palveluiden valinnassa ja hyödyntämisessä (#datamanagement jono)

Tarkastelujakso 1.1.-30.4.2021

• Keskitettyn URN-resolvoinnin kehittäminen
• Pysyvien tunnisteiden palveluiden koordinoiminen ja kehittäminen
• Pysyvien tunnisteiden ja FAIR-periaatteiden edistäminen mm. Avoimen tieteen työryhmissä
• CSC elinkaarenhallinnan palveluiden yhteentoimivuuden ja käyttäjälähtöisyyden edistäminen, mm.
  • käyttöehtojen tarkastelu
  • säilytyspolitiikan kehittäminen
  • asiakkaiden projektien elinkaaren hallinnan selkeyttäminen
  • yhtenäisten prosessien kehittäminen
  • tutkijoiden tarvitsemien asiakasratkaisujen suunnittelu mm. Altaan osalta
  • aineistojen siirron suunnittelu palveluiden välillä (alustavaa suunnittelua ja käyttäjätarpeiden selvittäminen)

Tarkastelujakso 1.1.-30.4.2021

Käyttäjien lukumäärä

Käyttäjien kokonaismäärä on vuonna 2021 jatkanut kasvuaan. Alla olevassa taulukossa on kuvattu aktiivisten käyttäjien määrä CSC:n palveluissa, mukaanlukien IDA. Aktiivinen käyttäjä tarkoittaa tässä käyttäjää, jolla on voimassa oleva tunnus. Vajaassa puolessa vuodessa käyttäjämäärät ovat nousseet 4-11 % kaikissa kolmessa asiakassegmenteissä.

Laskentapalveluiden käyttäjämäärät on myös jatkanut kasvuaan vuoden 2021 aikana. Varsinkin Puhdin CPU-resurssit ovat erittäin monien asiakkaiden käytössä. Tämä on linjassa palvelun luonteen kanssa, siten että siinä lasketaan painottuu pienten ja keskisuurien laskujen suorittaminen, toisin kuin Mahdissa, missä suuret ja keskisuuret laskut ovat painottuneet. Pienin resurssi mitä Mahdissa voi käyttää on 128 laskentaydintä  (yksi laskentasolmu), mikä on suurempi resurssi kuin mitä monet pienet käyttäjät voivat hyödyntää.

Laskentapalvelujen käytettävyys ja käyttöaste

Laskentapalvelimien käyttöaste on vuoden 2021 aikana ollut tasainen. Yli 90 % keskimääräinen käyttöaste tarkoittaa jo että kone on miltei jatkuvasti täynnä, ja resursseja pitää jonottaa. Pienemmälläkin käyttöasteella koneet ovat työviikkojen aikana täydessä käytössä. Vuoden 2020 syksyllä Puhdin käyttöaste putosi samalla kun Mahti otettiin tuotantokäyttöön elokuun lopussa. Mahdissa on noin 179000 laskentaydintä, ja näin merkittävä laskentakapasiteetin kasvu paransi merkittävästi tutkijoiden käytökokemusta, entistä isommat tehtävät ovat mahdollisia suorittaa ja resursseja ei tarvitse jonottaa kohtuuttoman pitkään.

Puhti

Graafi esittää Puhdin laskentaytimien käyttö ajan funktiona. Kuvassa on myös esitetty jonot, jotka kuvaavat minkälaisia resursseja tutkija on tarvinnut. Maksimimäärä laskentaytimiä Puhdissa on 27280. Ajanhetket, missä on pienempi kuorma, ajoittuu yleensä viikonloppuihin tai lomakausiin (pääsiäinen, hiihtolomat).

Puhdin jonotusaikoja tarkistetaan seuraavassa kuvaajassa kahden kvantiilin avulla. Jokaisena ajanhetkenä on laskettu 50 % ja 95 % kvantiilit edellisestä 24 tunnista. 50 % graafi kuvaa, että tätä nopeammin puolet ajoista ovat menneet ajoon siitä ajanhetkestä kun ne ovat laitettu jonoon. 95 % kvantiili vuorostaan tarkoittaa että 95 % töistä ovat menneet ajoon tätä nopeammin.  Jonotusajat ovat olleet varsin maltillisia joitain poikkeushetkiä lukuunottamatta. Maaliskuun puolen välin pitkä jonotusaika johtuu huoltokatkosta.

Graafi esittää Puhdin GPU-käyttö ajan funktiona. Kuvassa on myös esitetty jonot, jotka kuvaavat minkälaisia resursseja tutkija on tarvinnut. Maksimimäärä GPUita Puhdissa on 320. Ajanhetket, missä on pienempi kuorma, ajoittuu yleensä viikonloppuihin tai lomakausiin (pääsiäinen, hiihtolomat). Tässä näkyy myös katko maaliskuun puolessa välissä, jolloin uusia töitä ei enää käynnistetty ja kone tyhjentyi.

Jonot GPU-resursseihin on kuvattu alla olevassa graafissa. Keskimäärin näihin resursseihin on ollut pidemmät jonot kuin CPU-resursseihin.

Mahti

Graafi esittää Mahdin laskentaytimien käyttö ajan funktiona. Kuvassa on myös esitetty jonot, jotka kuvaavat minkälaisia resursseja tutkijat ovat tarvinneet. Maksimimäärä laskentaytimiä Puhdissa on 179712, mutta kuvaajassa esitetään jokaista laskentaydintä kahtena loogisen ytimenä, jolloin maksimi on 359424. Ajanhetket, missä on pienempi kuorma, ajoittuu yleensä viikonloppuihin tai lomakausiin (pääsiäinen, hiihtolomat). Lisäksi näkyy maaliskuun keskivaiheen huoltokatko.  Jonotusajat ovat pääsääntöisesti olleet maltillisia tai erittäinkin lyhyitä.

Laiteinvestoinnit

2021 alkuvuoden aikana Puhtiin ja Mahtiin on tehty kaksi merkittävää laajennusta.

Puhtiin on hankittu viisi yleiskäyttöistä palvelinta, joissa on nopeat ethernet kytkentä internettiin, ja lisäksi suora pääsy Puhdin kytkentäverkkoon. Lisäksi näissä tehopalvelimissa on suuri määrä paikallista levyä. Näiden palvelimien on tarkoitus toimia alustana, joilla voidaan ajaa uusia palveluja liittyen www käyttöliittymiin, tietokantoja, ja parantaa kyvykkyyttä monitoroida järjestelmän käyttöä.

Mahtiin on hankittu 24 uutta GPU-laskentasolmua, eli Mahti-AI (https://www.csc.fi/-/mahti-ai-opened-to-boost-ai-research). Näissä laskentasolmuissa on viimeisintä GPU-teknologiaa, ja kukin laskentasolmu on siten nopeampi ja kyvykkäämpi kuin vaastava Puhti-AI solmu. Tarkat tekniset spesifikaatiot yhdelle laskentasolmulle ovat:

• kaksi AMD Epyc Rome 7H12 -prosessoria (CPU) 
• neljä seuraavan sukupolven NVIDIA Ampere A100 -prosessoria (GPU)
• 512 GB muistia CPU:lle ja 160 GB muistia GPU:lle (40 GB kutakin GPU:ta kohti)
• 3,8 TB paikallista Nvme-tallennuskapasiteettia
• Kytkentäverkossa kaksi 200 Gbit/s yhteyttä.

Näitä laskentasolmuja hankittiin vastaamaan koneoppimistutkioiden kasvaviin tarpeisiin ja mahdollistamaan laskennallisia menetelmiä, missä tarvitaan sekä CPU- että GPU-kapasiteettia. Mahti-AI:n teoreettinen laskentateho on jopa hiukan isompi kuin edellisen supertietokoneen Sisun laskentakapasiteetti.

Tarkastelujakso 1.1.-30.4.2021

2021

• Tehtyä (vuosi 2021):
  • Yksinkertaisiin työvuotarpeisiin otettiin käyttöön uusi avoimen lähdenkoodin ratkaisu: Greasy. Dokumentaatio: https://docs.csc.fi/computing/running/greasy/
  • Mahti-AI käyttöönotto aikataulun mukaisesti mukaan lukien asiakaslaskutuksen (Billing Unit kulutus) määritteleminen ja implementointi, ohjelmistoasennukset, käyttäjädokumentaatio sekä asiakastiedotus.
    • Uutiset: https://www.csc.fi/-/mahtiin-ja-epoutaan-lis%C3%A4tehoa-gpu-noodeilla ja https://www.csc.fi/-/mahti-ai-opened-to-boost-ai-research. Nämä uutiset ylittivät myös kansainvälisen uutiskynnyksen, ja esim. HPCWire on  huomioinut Mahdin laajennuksen: https://www.hpcwire.com/off-the-wire/mahti-ai-opened-to-boost-ai-research/
    • Mahti-AI:n käyttödokumentaatio: https://docs.csc.fi/
  • Suuri määrä parannuksia ja korjauksia laskentaympäristöön, jolla parannetaan toiminnallisuutta ja korjataan todettuja ongelmia
• Käynnissä:
  • www-käyttöliittymän lisääminen Puhti-supertietokoneelle. Tämä käyttöliittymä rakennetaan Open on Demand avoimen lähdekoodin platformin päälle (https://openondemand.org/), ja se mahdollistaa muun muuassa tiedostojen käsittelyn, graafisten ohjelmien ajamisen suoraan selaimen kautta, sekä töiden ja projektitiedon käsittelyn graafisella käyttöliittymällä.
  • Sensitiivisen datan tukea suurteholaskennan alustoilla kehitetään, fokuksena datan kryptaus, sekä laskennan ja datan riittävä eristäminen.
  • Tuotannon laadun parantaminen: Katkojen viestintä ja aikatauluttaminen, Puhdin ja Mahdin monitoroinnin parantaminen sekä asennuksien laadun parantaminen automaattisilla testeillä.
  • Singularity konttien käyttöönoton edistäminen. Parempi tuki monien noodien ajoille sekä parannuksia pienten tiedostojen käyttöön
  • Monipuolisia, mutta myös monimutkaisia, työvuoratkaisujen pilotointia käyttäen asiakkaiden oikeita käyttötapauksia.
• Tulossa
  • www-käyttöliittymä tuotannossa Puhdissa, ja Mahdin vastaavan käyttöliittymän testiasennus.

2021 - 2026

Nykyiset supertietokoneet palvelevat Suomen tiedettä noin vuosiin 2025 - 2026 asti. Koneiden elinkaaren loppuminen riippuu sekä mahdollisista lisäinvestoinnista jotka nostaisivat niiden tehokkuutta sekä jatkovuosien kustannuksista verrattuna koneiden suhteelliseen laskentakapasiteettiin. Selvää on kuitenkin että vuosien 2025-2026 aikana on tarve uudelle kansalliselle supertietokonekapasiteetille.

Kuvassa esitetään palveluiden elinkaari. Vihreällä olevat alueet ovat tavallista tuotantoaikaa. Keltaisella merkityt alueet ovat joko rajoitettua käyttöä tai käyttö vaatisi lisäinvestointia tai tuen jatkamista. www.Puhti ja www.Mahti viittaa tässä suunniteltuun www-käyttöliittymän käyttöönottoon.

Tarkastelujakso 1.1.-30.4.2021

Koulutustapahtumia:

• "Pouta Cloud Course" (ENG, 8 tuntia) (Tammikuu)

• "CSC’s Cloud Services" (ENG, 4 tuntia) (Huhtikuu)

Rahti-sovellusluettelo. Päivitetyt versiot 9 sovellukselle: .NET, MariaDB, MySQL, Nginx, Perl, PHP, Redis, Ruby ja lopuksi Wildfly Java-sovelluspalvelin, joka tunnettiin aiemmin nimellä JBoss.

Asiantuntijatuki servicedeskin kautta:

Pilvipalvelujen tukipyynöt sisältää sekä Rahti että cPouta pilven tukipyynnöt.  Tammikuun korkeampi  lukumäärä johtuu osittain siitä, että ulkoisessa palvelussa "Docker Hub" lisättiin rajoituksia sen käytölle. Tätä ongelmaa ratkaistiin helmikuun alussa, jolloin tukipyyntöjen määrä palautui normaaliksi.

Tarkastelujakso 1.1.-30.4.2021

Ohjelmistokäyttö Puhdilla

Miten kuvaajat on laadittu?

Eri ohjelmistot laskentapalvelimilla otetaan käyttöön ohjelmistomoduleilla. Alla olevat kuvaajat on laadittu seuraamalla ja kohdistamalla eräajotöissä käytetty aika kyseiselle ohjelmistolle. Koska yhdessä työssä voi olla ladattuna monta modulia, eräajoista modulikohtaisesti laskettu summa voi ylittää todellisuudessa käytetyn ajan. Toisaalta, lista kattaa vain CSC:n esiasentamat ohjelmistot (ne joista on moduli). Kuvaajista on poistettu kääntäjien, kirjastojen ja vastaavien työkalujen modulit. Tutkijoiden itse asentamat ohjelmistot eivät näy tässä analyysissa, koska niistä ei ole omaa modulitiedostoa. Modulien latauksista yhteensä laskettu Puhdin CPU-käyttö tammi-huhtikuulle on 35 M CPUh, mikä on noin puolet teoreettisesta maksimista. Tämä on todennäköisesti yliarvio ja suurempi osa kuormasta on laskettu tutkijoiden itse asentamilla ohjelmistoilla. GPU-käytössä suhde on saman suuntainen: modulikäyttö yhteensä 0.35 M GPUh, ja teoreettinen maksimi 0.9 M GPUh. Modulikäyttödata Mahdilta on alkuvuoden osalta puutteellinen ja ohitettu tässä.

Tulkinta

CPU-aikakäyttö logaritmisella asteikolla esitettynä kertoo, että lähes kaikkia ohjelmistoja on käytetty ja jakauma on suurin piirtein logaritminen. Ohjelmistovalikoimassa ei siis ole turhia asennuksia. Suurin osa laskenta-ajasta (CPU) kuluu kourallisella ohjelmistoja. GPU-aika rajoittuu vielä pienemmälle joukolle, jossa kärjessä AI/ML-käyttö (pytorch, tensorflow) ja GPU:ta hyödyntävä molekyylidynamiikka (desmond). Käyttäjämääriltään suosituimpia ovat bioinformatiikan ja koneoppimisen/datan käsittelyn työkalut.

Laskentaresurssikäyttö tiedealoittain ja organisaatioittain

Piirakkakuvaajat sisältävät myös Ilmatieteen laitoksen oman osion, modulidatasta se on suodatettu pois.

Lähde: Reppu-dashboard

Tieteelliset ohjelmistot Puhti- ja Mahti-laskentapalvelimilla

• 136 tuettua tieteellistä ohjelmistoa asennettuna Puhtiin ja Mahtiin

• 505 ladattavaa ohjelmistomoduulia Puhtissa 181 Mahtissa

Tilanteet, kun käyttäjä ei ole saanut lisenssiä käyttöönsä niiden loppumisen takia 2021

Tarkastelujakso 1.1.-30.4.2021

Usage statistics 1.1.-30.4.2021

• Users 133
• Number of jobs 15 211
• Availability 99.6%

Development work

• Done 1.1.-30.4.2021
  • Analysis tools for microbial community analysis data added and improved
  • Tutorial videos and user support documentation added and improved
  • Reference databases updated
  • Import tool added. This feature allows the user to define the files and data to be processed.
  • Usage statistics view
  • Update to Angular 11 and other client and server libraries
  • Improved scheduling for large jobs
• Doing

  • Functionality which allows the user to combine sample specific files to a data set. This is particulary useful for the recent datasets which contain hundreds of files.

  • Workflow functionaly which allows the user to apply former analysis pipeline with tools and parameters for new datasets 

  • Analysis tools for single cell RNA-seq updated and improved
  • Analysis tools for microbial community analysis data added and improved
  • User documentation improved

Roadmap: 

Tools for Data Driven Sciences (TOOLDS)

Tarkastelujakso 1.1.-30.4.2021

• Elmer webinaarisarja saavutti suuren yleisön (289 ilmoittautunutta).
• ElmerIce mukana kahdessa Nature-artikkelissa.
• GPUiden hyödyntämisen valmistelua ja kokeilemista. Tavoitteena on laskennan nopeuttaminen ja LUMIn hyödyntäminen.
• Peruskehitystä ja yleistä tukea.

Tilastotietoa

Tarkastelujakso 1.1.-30.4.2021 (koko 2020)

• Sisältää myös PRACE, EuroHPC CC, ja LUMI Roadshowt
• Koulutustapahtumia 26 (66)
• Kurssipäiviä 72.5 (222)
• Osallistujia 597 (3667) + MOOCit *47 (750)
  • 17 (49) webinaaria/online
  • 0 (11) luokkahuonekurssia
  • 2 (6) MOOC (toinen vielä käynnissä)
• Kokonaisarvosana 8.65 (8.79)
• Uutta:
  • Using CSC HPC Environment efficiently
    • Uusi kurssi käytön aloittamiseen ja tehostamiseen
    • Näille pohjatiedoille tiedealakohtainen jatkokurssi Geocomputing in Puhti supercomputer
  • Quantum Computing and Programming in Two Hours on CSC’s webpage

  • HIP101: porting CUDA codes to HIP

• Tulossa:
  • Ympäristökurssia kehitetään kohti itseopiskelumateriaalia ja sisällyttämistä oppilaitosten materiaaleihin

Käyttöoppaat (docs.csc.fi)

• Istuntoja: 38451 (+42 % verrattuna edellisiin 120 päivään)
• 30 sisällöntuottajaa ja 291 päivitystä (github)

Laskennallisen tutkimuksen asiantuntijatuki servicedeskin kautta

Laskennallisen tutkimuksen RT-tuen asiakastyytyväisyys

SR-COMP == customer-accounts, hpcplatforms, notebooks-support, research-support, resource, servicedesk

Tikettien ratkaisuaikojen jakaumassa on pitkä häntä. Osa tiketeistä jää odottamaan asiakkaan vastausta ja se suljetaan, kun sitä ei saada. Joskus jo ratkaistu ja suljettu vanha tiketti avataan uudelleen uuden ongelman ilmetessä. Toki joidenkin tikettien ratkaisu myös aidosti kestää pitempään. Toisaalta jonoissa on myös lähinnä "tiedoksi" olevia asioita. Määrä ja ratkaisuaika eivät kovin hyvin kuvaa tehtyä työtä tai saatua palvelua, mutta ratkaisuaikojen mediaani antaa suuntaa ja vähintään trendin. Näytteistämällä tehty tyytyväisyyskysely (pulse) kertoo hyvin korkeasta laadusta.

Tarkastelujakso 1.1.-30.4.2021

Kielipankki

• Korp-palvelu päivitetty (käyttöjärjestelmäpäivitys, bugikorjauksia)

• Pitkäaikaissäilytyksen laadunvarmistukseksi valmisteltiin ja haettiin CoreTrustSeal -sertifikaattia

Tilastot tärkeimmistä palveluista:

Pääportaali (www.kielipankki.fi)

• Käyttäjiä: 8385 (+36 % verratuna 1.1.-30.4.2020)
• Käyttäjiä Suomesta 4930 (59 % kokonaismäärästä)
• Saatavuus 100 %

Hakupalvelu Korp (korp.csc.fi)

• Käyttäjiä: 3936 (+42 % verratuna 1.1.-30.4.2020)
• Käyttäjiä Suomesta: 1783 (45 % kokonaismäärästä)
• Saatavuus: 100 %

Lähteet: Google Analytics, CSC:n OpsView

Roadmap: 

Tools for Data Driven Sciences (TOOLDS)

Tarkastelujakso 1.1.-30.4.2021

• LUMIn ohjelmointimalleihin ja ohjelmointiympäristöön tutustumista Puhdin ja testialustojen avulla.
• Ristikorrelaation tehokas rinnakkaistettu toteutus Pythonilla suurille data- ja tiedostomäärille bioinformatiikkahankkeessa.
• Porttaus- ja optimointitukea molekyylidynamiikkaa ja koneoppimista yhdistävässä hankkeessa.
• Kahden plasmasimulaatiokoodin porttausta ja optimointia GPUille.
• DFT/elektronirakennekoodin CUDA/HIP-porttausta LUMIa ja muita GPU-koneita varten.
• Mahdin large partition -pyyntöjen käsittely.
• Yleinen käyttäjätuki.
• Dokumentaation ja suorituskykytyökalujen ylläpitäminen ja kehittäminen.

Tulossa

• LUMIn 1. vaiheen osana saapuvan porttausalustan hyödyntäminen.
• Frameworkeihin (kuten Kokkos) tutustuminen, SYCLiin tutustuminen.
• LUMIn käyttäjädokumentaatioon kontribuoiminen tarvittaessa.
• Edellä mainitun porttaus- ja optimointityön jatkaminen.

Huom: Työtä rahoitetaan osittain myös PRACE 6IP:n, Nomad2:n ja EuroHPC Competence Centerin kautta.

Tarkastelujakso 1.1.-30.4.2021

• Rakennettu koneoppimisen ympäristö Mahtiin (Mahti-AI)
• Rakennettu tukea GPU-kapasiteetin käyttöön myös perinteisessä data-analytiikassa (R)
• Tehty kehitystyötä massiivisten rinnakkaisten deep learning (GPU) -töiden parempaa tukea varten
• Jatkettu aktiivista kurssitoimintaa ja oppaiden kehittämistä

Tarkastelujakso 1.1.-30.4.2021

Uusien ominaisuuksien kehitys:

• Täysin uudistettu käyttöliittymä on viety beta-testaukseen
• Uuden käyttöliittymän myötä käytettävyys ja saavutettavuus on parantunut, sekä omatoiminen tehokäyttö kurssin, tutkimusryhmän tai muun yhteistyön alustaksi on tehty helpommaksi ja tehokkaammaksi ("designed for self service")
• Uudelle käyttöliittymälle on järjestetty systemaattinen käytettävyysarviointi ja parannuksia on tehty palautteen pohjalta
• Tulevia kehityskohteita on jaetun tallennustilan tuen sovittaminen paremmin esim. kurssikäyttöä tukevaksi sekä erityisresurssien tarjoaminen (esim. GPU:t)

Aktiiviset käyttäjät kvartaalettain ja käyttäjäryhmittäin

Kuukausittaiset Notebooks-laskentaympäristön käynnistykset

Tarkastelujakso 1.1.-30.4.2021

Paituli:

• Käyttäjiä: 1350 (+1 % verratuna 1.1.-30.4.2020)
• Tiedostolatauksia: 4656 (+1 %)
• API-latauksia: 648896 (+7 %)
• Saatavuus 99,98 %

Uutta:

• Lisätty Maanmittauslaitoksen ja Ilmatieteen laitoksen aineistoja
• Paitulin saavutettavuuden parantaminen ja saavutettavuusselosteen julkaiseminen
• Puhti: GIS-softien (geoconda, SNAP, lastools, QGIS, FORCE, SagaGIS, R for GIS) päivitys ja käyttäjädokumentaation parantaminen
• Kysely korkeakouluille ja tutkimuslaitoksille GIS-kurssien tarpeista

Tulossa:

• Paitulin tietoturvaselosteen julkaisu ja sen mukaiset muutokset palveluun, mm. henkilötietojen käsittelyn hyväksyminen
• Paitulin web-käyttöliittymän tilastoinnin siirto: GoogleAnalytics → Fairdata Matomo
• Paitulin palvelimien ja käyttöjärjestelmän vaihto: Centos → RHEL
• Puhti: GRASS GIS ja SNAP esimerkkikoodit

Tarkastelujakso 1.1.-30.4.2021

• Asiakastunnusten tuen (CAM) tiketit: 639 asiakastikettiä, 2105 tikettiä kaiken kaikkiaan (1.1.-20.5.2021)
  • Tikettimäärä kasvussa (vuonna 2020 tikettejä kaiken kaikkiaan 1119 ajalta 1.1.-20.5., ja koko vuoden tikettimäärät 2019: 3402 ja 2020: 3723)

• Tieteellisten resurssien jaon (RJR) hakemukset: 865 hakemusta, 821 199 998 haettua BU:ta, josta 750 099 998 myönnettyä BU:ta (1.1.-20.5.2021)

  • Hakemusmäärä selkeässä kasvussa (vuonna 2019 hakemuksia 934 ja vuonna 2020 hakemuksia 1474)

Tarkastelujakso 1.1.-30.4.2021

• Saatavuus: 99,88% (lähde: CSC TechOp, Grafana)
• Tunnukset ja projektit:
  • Aktiiviset käyttäjätunnukset (sis. tekniset tunnukset, koulutustunnukset, admin-tunnukset ja CSC:n henkilökunnan tunnukset): 5722 (lähde: IdM, 20.5.2021)
  • Uudet käyttäjätunnukset: 1089 (lähde: IdM, 1.1.-20.5.2021, 1929 uutta tunnusta vuonna 2020)
  • Sulkeutuneet ja poistetut tunnukset: 864 (lähde: IdM, 1.1.-20.5.2021, 423 suljettua tunnusta vuonna 2020)
  • Aktiiviset akateemiset laskentaprojektit: 2614 (lähde: IdM, 20.5.2021)
  • Uudet akateemiset laskentaprojektit: 665 (lähde: IdM, 1.1-20.5.2021)
  • Sulkeutuneet akateemiset laskentaprojektit: 511 (lähde: IdM, 1.1-20.5.2021)
• Toteutetut kehitystehtävät ja roadmap: 
  • Tehty (vuosi 2021):
    • Store Haka & Virtu last login information from AAI-proxy
    • ssh-public key workflow from MyCSC
    • User Account Linking workflow for MyCSC
    • GDPR form workflow from MyCSC
    • SNow service syncronization for generating mailing lists
    • IdM test environment upgrade
  • Käynnissä:
    • Role model in IdM
    • Lumi / Puhuri User and Project import
    • IdM production environment upgrade
    • Customer organization master data refinement
    • Develop new search application for internal customers
    • CSC Research data retention policy related work
    • Sensitive Data Desktop workflows for MyCSC
  • Roadmap:
    • Multi factor authentication (MFA) pilot
      
    • LDAP directory and IdM integration for LUMI testing environment
    • LUMI projects and resource applications workflows for MyCSC
      
    • Storage service (IDA and Allas) quotas workflows for MyCSC

Tarkastelujakso 1.1.-30.4.2021

• Saatavuus: 95,09 % (lähde: CSC TechOp, Grafana)
  • MyCSC rakentuu CSC:n Rahti-alustaan, ja sen saatavuus vaikuttaa MyCSC-palveluun
• Käyttäjämäärät (ao. kuvaajissa kuukausittain, lähde Google Analytics)

• Tehdyt kehitystehtävät ja roadmap
  • Tehtyä (vuosi 2021):
    • Show password expiration date in My Profile
    • Show project tags in My CSC project listing
    • Ida usage gauge
    • Centralized implementation of user roles
    • Implemented internal store to MyCSC to hold notifications / roles / allowed actions etc.
    • Fixes to forgot password issues
    • Implemented project editing in single project view
    • Updated layout styles to follow CSC Design System
    • Added Personal data handling form (GDPR) to projects that handle personal data
    • Implement account linking for Haka, Virtu and Elixir
    • Added auxiliary email to my profile
    • Added new analytics service and A/B testing possibility
    • Refactored Haka and Non-Haka registration forms
    • Implemented onboarding component and routes
    • Added SD Desktop and Mahti GPUs to billing unit calculator
    • Implemented generating PDF from GDPR form
  • Käynnissä:
    • Internal mailbox
    • Refactoring of navbar / sidebar to match CSC Design system
    • IDM workflow update
    • Re-usable under construction overlay
    • Replace default billing project with selectable project in Dashboard
  • Roadmap:
    • Integrate Virta publications
    • Integrate MultiFactor authentication
    • Lumi projects and resource applications
    • Internal mail box implementation
    • IDA and Allas quotas
    • Investigate DMP integration