KTPO-sopimuksen laaturaportointi vuonna 2022, kori 1

Tarkastelujakso 1.9.-31.12.2022 

• • Verkon käyttömäärät

• • • Ulkomaat
      • Viikoilla 37 ja 41 näkyy ulkomaanlinkeillä tavallista suurempia liikennemääriä
        
        • Nämä voisivat olla esim. aineiston siirtoa datakeskusten välillä

• • • Kotimaa
      • Kotimaan liikennemäärät ovat melko tavanomaisia ja tasaista
      • Kuvaajassa näkyy myös liikennemäärien väheneminen mm. syysloma- ja jouluviikoilla

• • Verkon ja sen palveluiden laatu/saatavuus
    • Yhteyspalveluiden laatu ja saatavuus säilynyt kokonaisuutena hyvällä tasolla. 
      • Seurantajaksolla oli useita valokuitukatkoja, mutta niistä ei aiheutunut palvelukatkoa yhteyksille varmentavien reittien ansiosta
  • Asiantuntijatukea RT servicedeskin kautta on tarjottu normaaliilla tasolla, uusien NOC-tikettien määrän ollessa noin 150-250 kuukaudessa.

Tarkastelujakso 1.9.-31.12.2022

• • Funet-verkon yleinen tietoturvatilanne on ollut tarkastelujaksolla normaali. Funet CERT vastaanotti ja välitti tavanomaisen määrän haavoittuvuusilmoituksia.  Uhkatoimijoiden kohdennetussa aktiivisuudessa on havaittu viitteitä kasvusta. 
    

Tarkastelujakso 1.9.-31.12.2022

• • Verkkovierailupalvelu eduroamin käyttömäärät ovat toipuneet hienosti ja ylittäneet tarkastelujakson aikana pandemiaa edeltäneen tason reilusti. Syys-joulukuussa 2022 eduroam-verkkovierailuja tehtiinkin ennätysmäärä, jopa miltei 5 miljoonaa verkkovierailua kuukaudessa, joulukuun hiljaisempi lomakausi pois lukien. Pandemian rajoittava vaikutus eduroam-verkkovierailijoiden liikkumiseen valtioiden rajojen yli näyttää tilastojen valossa poistuneen ja esimerkiksi suomalaisilla eduroam-tunnuksilla verkkovierailtiin tarkastelujakson aikana keskimäärin jo miltei 900 000 kertaa kuukaudessa.
  • 
  • 

Tarkastelujakso 1.9.-31.12.2022

Fairdata-verkoston toiminta

• Fairdata-verkoston toiminta parantaa yhteistyötä ja tiedonkulkua Fairdata-palveluja (IDA, Qvain, Etsin, Metax, Fairdata PAS) sekä Tiedejatutkimus.fi:n tutkimusaineistotietoja hyödyntävien organisaatioiden ja CSC:n välillä.
  
  • Tiedonvälitys myös datatukiverkoston ja koulutustoiminnan välillä.
• Verkoston sähköpostilistalla 132 henkilöä 40 eri organisaatiosta.
• Fairdata-verkostolle järjestetty tarkastelujakson aikana vuoden kolmas ja neljäs kokous 6.10.2022 ja 8.12.2022
  • CSC esitteli syksyllä julkaistuja Metax-integraatio-ohjeita ja Aalto-yliopisto jakoi kokemuksiaan ACRIS-järjestelmän integroinnista Metaxiin.
  • LUKE kertoi tavasta julkaista aineistoja Fairdata-palveluissa aihepiirikohtaisia päätietovarantoja hyödyntäen.
  • CSC esitteli "Korkeakoulujen yhteinen PAS-prosessi" -työpajojen tuotoksia.
  • Jatkettiin keskustelua tutkimusdataan liittyvien organisaatioroolien kehittämisestä sekä Fairdata-palveluissa että yleisesti CSC:n palveluissa.

Viestintä

• Fairdata.fi-sivustolla ja Twitterissä tiedotettu mm. palveluiden kehityksestä, CSC:n tuottamista datanhallinnan ohjevideoista ja ajankohtaisista tapahtumista.
• Fairdata.fi-sivuston julkista muutoslokia päivitetty kaikkien ulospäin näkyvien palvelumuutosten osalta ja palvelujen käyttöoppaat pidetty ajan tasalla.
• Twitter-tilillä oli 394 seuraajaa.
• Fairdata.fi-sivustolla julkaistiin suomeksi ja englanniksi blogikirjoitus Mitä hyötyä Fairdata-palveluista on tutkijalle ja tutkimusorganisaatioille? 19.9.2022. Blogissa esiteltiin lyhyesti palvelut ja tuotiin esiin niiden mahdollisuuksia FAIR-periaatteiden mukaisessa aineistonhallinnassa. Blogista julkaistiin myös Twitterissä.
• Tutkimusorganisaatioiden Metax-integraatioita ja integrointiprojektin kulkua esiteltiin Tutkimustietovarannon webinaarissa 13.9.2022.

Asiantuntijatuki Servicedeskin kautta

IDA-, Qvain-, Metax- ja Etsin-palveluihin liittyvät ratkaistut Servicedeskin kautta tulleet tukipyynnöt kuukausittain vuosina 2020, 2021 ja 2022.

Tarkastelujakson aikana syys-joulukuussa palvelujen tikettijonossa on käsitelty yhteensä 84 tukipyyntöä.

Tarkastelujakso 1.9.-31.12.2022

Fairdata-palvelujen kävijämäärät (selainkäyttöliittymät)

Evästeetön web-analyytikka seuraa päivätasolla uniikkeja kävijöitä fairdata.fi-verkkosivustolla sekä IDA-, Etsin- ja Qvain-palvelujen selainkäyttöliittymissä. Kävijöitä kaikissa näissä verkkopalveluissa yhteensä keskimäärin noin 130 päivässä arkisin ja noin 20 päivässä viikonloppuisin tammi-joulukuussa vuonna 2022.

IDA, Etsin, Metax, Qvain - Katsaus tuotantoon

Palveluiden saatavuus

Tarkastelujaksossa palveluiden saatavuus on ollut erinomainen:

• IDA 99,60%
• Etsin 98,68%
• Metax 98,68%
• Qvain 98,68%

IDA- Tutkimusdatan säilytyspalvelun käyttö

• Yllä oleva kuvaaja kattaa palvelun käytön vuoden 2015 lopusta vuoden 2022 loppuun

• IDAa käyttävien projektien määrä on 509 (kasvua 9 % edelliseltä tarkastelujaksolta). Projekteissa on aktiivisia IDA-käyttäjiä 1044 (kasvua 4 % edelliseltä tarkastelujaksolta).
  • 40 % niistä projekteista, jotka ovat tallennetaneet dataa IDAan ovat myös julkaisseet sitä (yht. 481 julkaistua aineistoa).
  • 35 projektissa vastuuhenkilön tunnus ei ole aktiivinen ja projektin tilannetta selvitetään. Näillä projekteilla on yht. 19 julkaistua aineistoa.
  • Tarkastelujakson aikana 3 projektia poistui tai poistettiin palvelusta käyttöehtojen mukaisesti.
• Palvelussa on dataa on noin 1185 teratavun edestä (kasvua 5 % edelliseltä tarkastelujaksolta).
  
  • Kaikesta datasta 615 teratavua (52 %) on jäädytetty, ja jäädytetystä datasta 70 teratavua (11 %) on julkaistu Fairdata-palveluissa.
  • Kaikesta datasta 26 teratavua (2 %) kuuluu projekteille, joiden vastuuhenkilön CSC-tunnus ei ole aktiivinen.

IDA - Tutkimusdatan säilytyspalvelu - Palvelun käyttö organisaatioittain 12/2022

Tarkastelujakson aikana IDAa käyttävät projektit jakautuvat sektoreittain seuraavasti:

Etsin - Tutkimusaineistojen hakupalvelu

Aineistojen kokonaislukumäärä ajanjaksolla 2016–12/2022

• Syyskuun lopussa tehtiin Helsingin yliopiston toimesta muutos SMEAR -aineistojen julkaisutapaan, missä yksittäisen mitattavan muuttujan julkaisun sijaan julkaistavat aineistot kerätään asemakohtaisesti ja temaattisiksi kokonaisuuksiksi
  • Aineistojen löydettävyyden ja esimerkiksi tieteellisissä julkaisuissa viittaamisen näkökulmasta muutos oli tarpeellinen, vaikka se vaikuttikin voimakkaasti aineistojen määrään Etsin-palvelussa
  • Aiheesta julkaistu uutinen: https://www.fairdata.fi/smear-aineistot-uudelleenjarjestetetty-paremmin-loydettaviksi-ja-viitattaviksi-kokonaisuuksiksi-fairdata-etsimessa/

Uusien aineistojen lukumäärä kuukausittain 2019-12/2022

• Metax-integraation käyttöönotto näkyy uusien aineistojen määrässä:
  
  • Aalto yliopisto 05/2022
  • EUDAT B2SHARE FMI -instanssi (METIS) 12/2022

Julkaistujen aineistojen määrät:

• Uusia aineistoja yhteensä 09-12/2022: 579
  
  • Kuvailutyökalun avulla: 101
  • Haravoinnin ja APIn kautta: 478

IDA, Etsin, Metax, Qvain - Katsaus kehitykseen

Fairdata-palvelujen yhteiset kehityskohteet

• Laadunvarmistus:
  • Parannettu kehitysprossesin työkalujen dokumentaatiota ja käyttöönottoa
  • Saatu valmiiksi suojattavien konfiguraatiotietojen pohjaratkaisun käyttöönotto
  • Saatu valmiiksi konfiguraationhallinnan ja provisioinnin automatisaation käyttöönotto
  • Kehitetty koko palvelukokonaisuuden kattavien integraatio- ja käyttöliittymätestien automatisointia
  • Valmistauduttu teknologia-alustan versiopäivitykseen

IDA kehitys

• IDA-käyttötilastoihin lisätty tieto IDAa käyttävien projektien julkaisemista aineistoista (aineistojen lkm, pysyvät tunnisteet ja julkaistun datan määrä)
• Pieniä parannuksia ja korjauksia selainkäyttöliittymän ulkoasuun
• Palvelun sisäisiä automaattisia prosesseja ja laadunvarmistusta parannettu mm. lokituksen ja palvelun virhetilojen monitoroinnin osalta
• Ohjelmistokomponenttien päivityksiä

Etsin kehitys

• Parannettu PAS-aineistojen löydettävyyttä omalla katalogifiltterillä
• Aloitettu organisaatiotasoisen kuvailutietojen pääkäyttäjäroolin näkymien suunnittelu
• Valmisteltu aineistojen katselukertojen ja latausten näyttämistä aineistojen kuvailusivulla
• Tehty pieniä parannuksia ulkoasuun ja käytettävyyteen

Qvain kehitys

• Parannettu tiedostojen valintaa myös isojen tiedostomäärien käsittelyyn mm. optimoimalla teknistä ratkasua ja lisäämällä hakutoiminto
• Parannettu etenkin PAS-aineistoissa käytettyä tiedostojen metadatan syöttämistä tarjoamalla metatietojen kopiointi hakemistotasolta
• Lisätty ruotsinkielisten otsikon ja kuvaustekstin syöttömahdollisuus
• Tehty pieniä käytettävyys- & bugikorjauksia
• Jatkettu organisaatiotasoisen kuvailutietojen pääkäyttäjäroolin suunnittelua

Metax kehitys

• Tuettu Helsingin yliopistoa SMEAR -aineistokuvausten päivityksessä löydettävämpään ja viitattavampaan muotoon
  • Aiheesta julkaistu uutinen: https://www.fairdata.fi/smear-aineistot-uudelleenjarjestetetty-paremmin-loydettaviksi-ja-viitattaviksi-kokonaisuuksiksi-fairdata-etsimessa/
• Otettu käyttöön FMI:n METIS-aineistometatietojen tuominen EUDAT B2Sharen FMI:n istanssista Metax API -rajapinnan kautta
• Jatkettu yhteistyötä CSC:llä sisäisesti sensitiivisen datan aineistometatietojen (SD Submit) tuomiseksi Metax API -rajapinnan kautta
• Jatkettu teknistä uudistustyötä uusimpien kehysteknologian ja ohjelmistokomponenttien tarjoamien ratkaisujen hyödyntämiseksi

Tutkimukseen liittyvien aineistojen digitaalinen pitkäaikaissäilytys (Fairdata PAS-palvelu)

CSC on tarkastelujaksolla edistänyt tutkimukseen liittyvien digitaalisen aineistojen pitkäaikaissäilytystä OKM:n kanssa asetettujen tavoitteiden mukaisesti. Tämä tarkoittaa säilytykseen jo hyväksyttyjen aineistojen vaalimista, uusien käyttöönottojen tukemista sekä hallinnollisesti että teknisesti, sekä toiminnan jatkuvaa kehittämistä vastaamaan paremmin korkeakoulujen ja tutkimuslaitosten aineistojen säilyttämisen tarpeita.

Vuonna 2022 toteutuneita toimenpiteitä ovat esim.:

• OKM:n säilytyspäätöksien mukaisten aineistojen eheyden, käyttökelpoisuuden ja autenttisuuden vaaliminen
• Uusien säilytyspäätöksien mukaisesti organisaatioiden tukeminen hallinnollisesti ja teknisesti palvelun käyttöönotossa

  
  

• Uuden paketointityökalun suunnittelu

  
  

• Sensitiivisten aineistojen säilyttämiseen liittyvien kahden kehitysprojektin käynnistäminen yhdessä korkeakoulujen kanssa

• Säilytyspäätöskohtaisen autorisoinnin suunnittelu

  
  

• Aineistotiedostojen hallintatoimintoja (valmisteluvaiheen tallennuspalveluun liittyen)

  
  

• AVI-tiedostomuototuki

  
  

  
  

• Tekstiaineistojen merkistöjen hallinnan parantaminen

• Bugikorjauksia ja muita pienempiä kehitystöitä

Laajempi PAS-palveluiden vuosiraportti 2022 on saatavilla digitalpreservation.fi-sivustolla.

Tarkastelujakso 1.9.-31.12.2022

Miten tutkijat kuvailevat aineistojaan -tapahtumat

• ke 28.9.2022 10:00-12:00 Luonnontieteet, 85 osallistujaa
• to 6.10.2022 10:00-12:00 Ihmistieteet, 114 osallistujaa
• ei tallenteita, mutta blogi-teksti AVOTTn sivuilla

DMP webinar series yhteistyössä Suomen EOSC-foorumin & DMP-konsortion kanssa 

• Suomen EOSC Foorumin johdantowebinaari "Future prospects of Data Management Plans - towards machine-actionability" 60 osallistujaa
• 22.11.2022 at 10:00-12:00 DMP webinar: Data Stewardship Wizard, tallenne video.csc-palvelussa, 38 osallistujaa
• 1.12.2022 at 10:00-12:00  DMP webinar: Argos, tallenne video.csc-palvelussa, 34 osallistujaa
• 9.12.2022 at 10:00-12:00 DMP webinar: DMPonline, tallenne video.csc-palvelussa, 34 osallistujaa

13.9.2023 Maanpuolustuskorkeakoulu, esitys Fairdata-palveluista, 15 osallistujaa

4.10.2022 IT-johtajien webinaari, esitys datanhallinnasta, 43 osallistujaa

4.11.2022 Esitys Biodiversa+ workshopissa otsikolla "Data interoperability and harmonisation for biodiversity" 40 osallistujaa

21.-22.11.2022 Esitys; Seminaari tutkimustiedonhallinnan ongelmista ja mahdollisuuksista Itä-Suomen yliopistyon järjestämä Round table seminaari, 15 osallistujaa, (dataintensiivisten alojen + data sciencen professoreja)

1.12.2022 The Elements of FAIR - Findable tutoriaalivideo, katsottu yli 100 kertaa. https://www.youtube.com/watch?v=vykM4QusKwE

8.12.2022 TAU, esitys tutkijoille "How to choose the right services?" 39 osallistujaa

14.12.2022 Datan organisoinnin ABC -työpaja, 20 osallistujaa

Datatukiverkosto

• • Organisaatioita mukana 33
  • Sähköpostilistalla 142 jäsentä
  • Chat-käyttäjiä 96
  • Kuukausittaiset datakahvit, osallistujia 15-30 eri organisaatioista
• RDM koulutusmateriaalien tuottaminen ja päivittäminen tutkijoiden ja tutkimusorganisaatioiden käyttöön sekä kansainvälisten datanhallinnan hyvien käytäntöjen skaalaaminen kansallisiin tarpeisiin.
• Tapahtumia suunniteltu keväälle 2023

Tarkastelujakso 1.9.-31.12.2022

• Jatkettu yhteistyötä Social Sciences & Humanities loppukäyttäjien kanssa datanhallinnan tukitarpeiden kartoittamiseksi ja tuen kehittämiseksi (datanhallinta, SD-palvelut yms.). 
• Valmisteltu palvelukatalogin kehittämistä.
• Osallistuttu AVOTT:n asiantuntijaryhmien työskentelyyn, etenkin tutkimusaineistojen avoimuus-, ja menetelmien avoimuus- ryhmissä edistetty FAIR-periaatteita sekä arkkitehtuurityössä tuotu tutkimusdatanhallinnan sisältöasiantuntemusta työhön.
• Tuettu kansallisen DMP-työn jatkamista ja ohjeiden ja templaattien ylläpitämistä (DMP-konsortion ohella) osana AVOTT-työskentelyä esim. työryhmässä, joka päivittää arkaluontoisen datan kansallista DMP-ohjetta. Lisäksi oltu mukana kansainvälisessä DMP-yhteistyössä DMP työkalujen käyttäjäryhmien sekä RDA:n kautta. 
• Tuettu organisaatioita ja loppukäyttäjiä datanhallinnan palveluiden valinnassa ja datanhallinnan suunnittelussa esimerkiksi tietokantojen ja linkitetyn datan käytön osalta.
• Koordinoitumista kansainväliseen kontekstiin FAIR-periaatteiden mukaisten käytäntöjen ja osaamisten edistämiseksi.
• Vahvistettu omaa datanhallinnan osaamista (DAMA-DMBOK-viitekehyksen opiskelua).

Tarkastelujakso 1.9.-31.12.2022

Aineistonhallinnan suunnittelun (DMP) edistäminen

• DMP-konsortion toimintaa tuettu koordinaattorin työllä.
• DMP-tiedon rakenteisuutta ja laatua pyritään kehittämään ja yhteentoimivuutta parantamaan sekä kansainvälisesti että kansallisesti DMP-konsortion teknisessä ryhmässä.

Yhteentoimivuuden ja toistettavuuden edistäminen

• Edistetty tutkimuksen palveluiden yhteentoimivuutta edelleen sisäisellä arkkitehtuuriprojektilla ja palvelukehityksellä (datan siirtotyökalu).
• Edistetty kansallista ja kansainvälistä PID-koordinaatiota (PID-verkosto, PID-tiekartta, RDA, TTV)
• Yhteistyöhankkeen suunnittelu aloitettu digitaalisten ihmistieteiden datapalveluiden tarjoajien kanssa.
• Työtä Kansalliskirjaston Ihmistieteiden neuvottelukunnassa, Finto-konsortiossa, Avoimen tieteen ryhmissä, tutkimuslaitosten kanssa ja kansainvälisissä yhteyksissä esim RDA ja EOSC task forces. 

PID palvelut

• Seurattu kansainvälistä kehitystä osallistumalla PID-työryhmiin (FDO forum, ePiC, RDA, Knowledge Exchange).
• DataCite Finland -konsortiossa on 7 jäsentä. Uusia jäseniä neuvottu palvelun käyttöönotossa.
• PID-mikropalvelun ylläpitoa organisoitu ja käytön laajennusta suunniteltu.

• PID-arkkitehtuurin kuvaamista jatkettu sekä organisaatio-, kansallisella ja kansainvälisellä tasolla CSC:n palveluiden ja toiminnan yhteensopivuuden varmistamiseksi

• PID-arkkitehtuuria on hyödynnetty CSC:n tuottamien palveluiden suunnittelussa ja yhteentoimivuuden kehittämisessä

• PID-arkkitehtuuria on esitelty EOSC:in asiantuntijaryhmälle ja sanastotyö alkamassa.

Tarkastelujakso 1.9.–31.12.2022

•  Sensitive Data (SD) -palveluista SD Desktop ja SD Connect tuotantopalveluina
  • Asiakaspalvelu opastanut palvelun käyttöönotossa sekä soveltuvuudessa eri alojen arkaluontoiselle aineistolle. 
  • Loppukäyttäjien määrä kasvaa edelleen lineaarisesti, käyttö jakautuu useille eri tieteenaloille.
  • Työ DL2021-ympäristön HPC-laskennan hyödyntämisen mahdollistamiseksi arkaluonteiselle aineistolle jatkunut.
• Uusien lisäpalveluiden arkkitehtuurin ja palvelumallien (SD Apply, SD Submit) valmistelua on jatkettu.
• Tuki OKM:n 2-vuotisen esikoulun kokeilun vaikutuksista (https://okm.fi/hanke?tunnus=OKM004:00/2020) jatkunut.
• Federated European Genome-phenome Archive (FEGA) -palvelun asiakaspalvelun prosessit sekä uuden tuotantopalvelun asiakkaiden ohjeistus julkaistu, kansallisten rekisterinpitäjien kanssa käydään neuvotteluita palvelun käyttöönotosta.
• Tuotantopalvelua toimitetaan Findatan luvittamille aineistoille Findatan säädöksen vaatimukset toteuttavan SD Desktop -palvelun kanssa. SD Desktop -palvelun soveltuvuus yksittäisen rekisterin pitäjän aineistoille analysoitu ja tekninen toteutus tuotettu. Pilottikäyttöä edistetty.

2022

• Altaan datanhallinnan tuki-tiimi tukee loppukäyttäjiä vastaamalla helpdeskiin tuleviin kysymyksiin sekä kehittämällä Altaan komentorivityökaluja ja käyttöoppasta (https://docs.csc.fi/data/Allas/). Hyväksi havaitut Allas-komentorivityökalut tullaan hyödyntämään Lumi objektitallennusratkaisun toteutuksessa.
• Altaan kapasiteettimyynnin linjaukset, prosessit sekä hinnoitteluperiaatteet on kehitetty yhteisymmärryksessä ministeriön kanssa.
• Altaan tuleva geneerisen datanhallinnan graafinen käyttöliittymä on suunniteltu rinnakkain uudistetun SD Connectin kanssa. Näin arkaluonteisen datanhallinnan käyttöliittymästä tehtyä käyttäjätutkimusta on hyödynnetty molempien käyttöliittymien kehityksessä. Vuoden aikana on myös päästy yhteisymmärrykseen siitä, miten geneerisen ja arkaluontoisen datan hallinnan graafiset käyttöliittymät voidaan tulevaisuudessa kehittää samaa koodipohjaa ja samoja kehittäjäresursseja hyödyntäen. 
• Altaan integrointi Puhdin graafiseen käyttöliittymään on parannettu ja parannukset näkyvät loppukäyttäjille seuraavassa versiopäivityksessä.
• Vuoden 2022 aikana on myös aloitettu keskustelut siitä, minkä rajapintojen kautta palvelu tulisi tulevaisuudessa olla saatavilla. 

Tarkastelujakso 1.9.-31.12.2022

Käyttäjien lukumäärä

Mahdin käyttäjämäärien kasvu on ollut vakaata viime vuoteen verrattuna. Mahdissa oli lokakuussa saman verran käyttäjiä, ja muina kuukausina enemmän (10-30%) . Tämä johtuu siitä, että vuoden 2021 alussa Mahti palvelu oli suhteellisen tuore, eikä siinä ei vielä ollut GPU:ita. Vuoden 2022 aikana käyttäjämäärät ovat olleet tasaisia. 

Puhdin käyttäjämäärät ovat jonkin verran kasvaneet, kun verrataan samaan ajanjaksoon vuonna 2021. Käyttäjiä on ollut 6% - 27% enemmän verrattuna edelliseen kauteen. Lokakuun selvästi isompi käyttäjämäärä selittyy osittain sinä kuukautena järjestettyjen kurssien suurella määrällä. Samalla Puhdin www käyttöliittymän tunnistautuminen uudistettiin siten, että kaikilla käyttäjillä on oma tunnus eikä jaettuja "training" tunnuksia enää käytetä. Tämä johtaa siihen, että käyttäjäluvuissa nähdään paremmin aito käyttäjämäärä.

GPU resurssien (Mahti-AI ja Puhti-AI) käyttäjät käyttävät usein myös CPU-resursseja. Toisaalta myös merkittävä määrä asiakkaita käyttää pelkästään kiihdytettyä laskentaa. Puhdin isompi käyttäjämäärä on linjassa palvelun luonteen kanssa. Puhdissa suoritetaan enimmäkseen pieniä ja keskisuuria laskuja, toisin kuin Mahdissa, jossa paino on suurilla ja keskisuurilla laskuilla. Pienin Mahdissa käytettävä resurssi on 128 laskentaydintä (yksi laskentasolmu), joka on enemmän kuin monet pieniä laskuja tekevät käyttäjät voivat hyödyntää tehokkaasti.

Uusi www pohjainen käyttöliittymä otettiin käyttöön lokakuussa 2021 ja sen käyttö on jatkanut kasvuaan siten, että sillä on nyt jo noin 300 uniikkia käyttäjää kuukaudessa. Käyttäjien määrä ja myös suhteellinen osuus kaikista käyttäjistä on kasvanut voimakkaasti palvelun olemassa olon aikana. Loka-joulukuun aikana jo noin 30% käyttäjistä on myös www käyttöliittymän käyttäjiä. Tämäkin osuus on jatkanut kasvua. Edellisellä raportointikaudella osuus oli 25%. Käyttöliittymän jatkuvasti kehittyvä toiminnallisuus, suurempi tunnettuvuus ja laajempi ohjelmistovalimoima tukee tätä kasvua. Varsinkin opetuspuolella kasvu on ollut voimakasta ja alustaa käytetään sekä CSC:n omilla, että asiakkaiden järjestämillä kursseilla.

Alla olevassa taulukossa on tarkat käyttäjämäärät Puhdissa ja Mahdissa, joita esitetään ylläolevissa graafeissa.

Laskentapalvelujen käytettävyys ja käyttöaste

Laskentapalvelimien käyttöaste tarkastelujaksolla on pysynyt hyvällä tasolla. Jonot ovat verrattain lyhyet ja resursseja on vielä helposti saatavilla. Lokakuussa käyttöaste on Puhdissa pienempi kuin edellisenä vuotena. Syynä tähän on Puhdin käytöjärjestelmän päivitys Red Hat Enterprise Linux 8 versioon. Tämä versiopäivitys varmistaa, että tietoturva supertietokoneessa pysyy hyvällä tasolla ja että käyttöympäristö on ajantasainen. Samalla käyttäjille päivitys merkitsi sitä, että omat ohjelmistot piti kääntää uudelleen. Jo marraskuussa käyttö palautui normaaliksi. Alla olevassa kuvaajassa esitetään käytetyt resurssit Puhdissa ja Mahdissa skaalattuna laitteistojen teoreettiseen laskentatehoon.

Laiteinvestoinnit

2022 alkuvuoden aikana Puhtiin on tilattu enemmän paikallisia levyjä, jotka parantavat IO intensiivisten työkuormien nopeutta. Levyt on asennettu Puhtiin ja ne ovat asiakkaiden käytössä.

Tarkastelujakso 1.9.-31.12.2022

• Tarkastelujakson aikana on lähdetty implementoimaan CSC:n datan poistoprosessi ja jatkossa akateemisten projektien sisältö poistetaan 90 päivän kuluttua projektin sulkemisesta. 
• Loppukäyttäjien mahdollisuuksia hienosäätää objektien näkyvyyttä erilaisilla policyillä on kehitetty tarkastelujakson aikana.
• Altaan taustajärjestelmien käyttöjärjestelmän versioita on päivitetty nykyaikaisiin versioihin, mikä mahdollistaa sujuvammat versiopäivitykset tulevaisuudessa, ja se on edellytys että päästään lähitulevaisuudessa Lumi-O:n kanssa samaan ohjelmistoversioon.

Vuoden 2022 aikana Altaan kokonaiskapasiteettia on kasvatettu pääsääntöisesti uudellenjärjestämällä palvelimia ja vuoden lopussa kapasiteettia oli 15,7 PiB.

Altaan saatavuus

Allas on tarkastelujakson aikana ollut saavutettavissa 100%.

Vuoden aikana kapasiteetin kasvattaminen aiheutti palvelun asiakasrajapintaan odottamattomia lyhyitä häiriöitä toukokuussa. Vastaavassa tilanteissa ei ole aikaisemmin havaittu kyseistä häiriötä. 

Altaan datamäärät ja käyttöaste

Altaassa oli vuoden 2022 alussa säilytetty 5,3 PiB dataa ja datan määrä on tarkastelujakson aikana kasvanut 6,96 PiB:hen. Vuoden 2022 aikana datan määrä on kasvannut 1,66 PiB:llä vaikka vuoden aikana on myös poistettu noin 1 PiB:n verran dataa eri siivoustoimenpiteiden tuloksena.

Alla olevasta taulukosta näkee datamäärän ja Altaan käyttöaste, tarkastelujakson joka kuukauden ensimmäisenä päivänä.

Altaan käyttäjät

Tarkastelujakson aikana 842 akateemista projektia käytti Allasta.

Vuoden 2022 aikana yhteensä 852 akateemista projektia ovat käyttäneet Allasta. Kun Altaan käyttäjinä vuoden 2021 aikana oli yhteensä 671 akateemista projektia, voidaan todeta että projektien määrä on kasvanut 27% vuonna 2022.  

Sektoreittain Allasta käyttävät projektit jakautuivat seuraavasti:

Datamäärän jakautuminen projektien kesken

Alla olevasta kuvasta näkyy ne kymmenen organisaatiota, joiden akateemisilla projekteilla oli eniten dataa Altaassa tarkastelujakson lopussa.

Kun projekti tulee Altaan käyttäjäksi, sille myönnetään 10 TiB tallennustilaa vuodeksi. Lisää tallennustilaa resurssijakoryhmä jakaa lähtökohtaisesti 50 TiB:hen asti automaattisesti, vuodeksi kerrallaan. Alla olevasta kuvasta näkyy että tällä hetkellä 91,5% projekteille riittää 10 TiB hyvin, 7,5% säilyttää 10-50 TiB dataa Altaassa ja ainoastaan 1% enemmän kuin 50 TiB.

Tähän ei ole tullut muutoksia vuoden 2022 aikana.

CSC:n tuki Altaan käyttäjille

CSC:n tuki Altaan loppukäyttäjille on järjestetty CSC:n yleisen asiakaspalvelun kautta (servicedesk@csc.fi) ja kysymykset/ongelmat dokumentoidaan CSC:n tikettijärjestelmään. Tarkastelujakson aikana on vastattu 40 yhteydenottoon ja vuoden 2022 aikana yhteensä 108 yhteydenottoon. Vuoden 2021 aikana vastattiin 131 yhteydenottoon

2022

• Tehty
  • Kompetensseja monista työvuomenetelmistä on kehitetty (nextflow, Hyperqueue, jne.) , ja näitä on asennettu ja dokumentointia parannettu (https://docs.csc.fi/computing/running/throughput/)
  • Mahdin ja Puhdin käyttöjärjestelmä on päivitetty versioon RedHat Enterprise Linux 8 ja samalla koko ohjelmaympäristö on päivitetty niin, että se tukee uutta käyttöjärjestelmän versiota.
  • Paikallisten levyjen määrää on nostettu Puhdissa lisäinvestoinnilla.
  • Puhdin www-käyttöliittymä on parannettu lukuisilla uusilla toiminnallisuuksia
    • kiihdytetty visualisointi
    • tuki muokattujen notebooks ympäristöjen käytölle, mikä tukee etenkin kurssikäyttöä
    • Matlab sovellus
  • Tykky työkalu, jolla voidaan helposti kontittaa ja siten tehostaa Conda ympäristöjen ja muiden vastaavien ympäristöjen asennuksia ja käyttöä.
  • Olemme toteuttaneet keinoja, joilla voidaan poistaa tiedostoja, jotka eivät ole enää aktiivisessa käytössä. Raportoimme ensin asiakkaille mitkä tiedostot ovat poistumassa ja lopulta poistamme ne sen jälkeen, kun käyttäjät ovat siirtäneet tarvittavat datat Altaaseen. Tämä varmistaa sen, että levy ei täyty liikaa ja pysyy siten käytettävänä.
  • Olemme kehittäneet datan poistoprosessia, jolla vanhentuneiden projektien datat poistuvat palvelulta.
  • Lisenssipalvelun tarjoaminen Lumi ympäristöön
• Käynnissä:
  • Vuoden aikana tuetaan jatkuvasti Puhdin ja Mahdin käyttöympäristöjä. Nämä ovat raportoitu osana menetelmä- ja tiedealatukea tässä raportissa. 
  • www-käyttöliittymän lisääminen Mahti ja Lumi-supertietokoneille. Nämä avataan 2023 kevään aikana.
  • Sensitiivisen datan tukea suurteholaskennan alustoilla kehitetään, fokuksena datan salaus sekä laskennan ja datan riittävä eristäminen.
  • Parannetaan supetietokoneiden kykyä tukea uusia Digital Twin projekteja
  • Rinnakkaislevyjärjestelmän suorituskyvyn seurannan kehittäminen ja kuormaa aiheuttavien töiden identifiointi

2021 - 2026

Nykyiset supertietokoneet palvelevat Suomen tiedettä noin vuosiin 2025 - 2026 asti. Koneiden elinkaaren loppuminen riippuu sekä mahdollisista tehokkuutta nostavista lisäinvestoinnista, että jatkovuosien kustannuksista verrattuna koneiden suhteelliseen laskentakapasiteettiin. On kuitenkin selvää, että vuosien 2025-2026 aikana on tarve uudelle kansalliselle supertietokonekapasiteetille.

Kuvassa esitetään palveluiden elinkaari. Vihreällä olevat alueet ovat tavallista tuotantoaikaa. Keltaisella merkityt alueet ovat joko rajoitettua käyttöä, tai käyttöä joka vaatisi lisäinvestointeja tai tuen jatkamista. www.Puhti ja www.Mahti viittaa tässä suunniteltuun www-käyttöliittymän käyttöönottoon. Tavoitteena on ylläpitää ja kehittää laskentapalveluiden toiminnallisuutta ja ajanmukaisuutta niiden elinkaaren aikana. Osa tätä työtä on Puhdin ja Mahdin käyttöjärjestelmien päivitys vuoden 2022 aikana. 

Tarkastelujakso 1.9.-31.12.2022 / ML-ympäristö

• LUMI:n koneoppimisympäristöön lisäyksiä suurten hajautettujen töiden ajamiseen (Deepspeed, MPI)
• Suurten kielimallien (LLM) benchmarkaus LUMI-ympäristössä
• Vahvistusoppimisen työkalujen evaluointi
• Koneoppimisen TensorFlow-frameworkin päivitys

Tarkastelujakso 1.9.-31.12.2022

Koulutus

Tarkastelujakson aikana ei järjestetty kursseja, mutta tulevia kursseja valmisteltiin:

• Pouta cloud course (ENG, yhden päivän kurssi maaliskuussa)
• Rahti cloud course (ENG, yhden päivän kurssi maaliskuussa)
• Deploying and Using Jupyter Notebooks on Rahti Advanced (ENG, yhden päivän kurssi huhtikuussa)
• How to make container images with Rahti? Advanced (ENG, yhden päivän kurssi huhtikuussa)

Asiantuntijatuki servicedeskin kautta

Pilvipalveluiden tukipyynnöt sisältävät sekä rahti- että cPouta -ymäristöjen tukipyyntöjä. Tukipyyntöjen huippu elo-syyskuussa 2020 johtui vanhentuneista tileistä ja hankkeista. Joka lukuvuoden alussa luodaan paljon projekteja ja tilejä ja hankkeet päättyvät normaalisti 12 kuukauden kuluttua. Tammikuun 2021 huippu johtui Rahti-tiimin helmikuussa ratkaisemasta "docker hub" rajoituksesta. Parannettu dokumentaatio ja projektien elinkaaren hallinnan automatisoiminnin lisääminen ovat vähentäneet tukipyyntöjen määrää vuonna 2021 ja lasku on jatkunut myös vuonna 2022. Käyttäjien määrä vuonna 2022 oli suurempi kuin aiempina vuosina, mutta tukitapauksia oli vähemmän kuin aiemmin. Ainoa kuukausi, jossa oli enemmän tukipyyntöjä kuin edellisenä vuonna, on kesäkuu 2022, jolloin Rahdin levyjärjestelmissä oli ongelmia.

Käyttäjämäärät

cPouta

cPouta ympäristössä oli noin 925 aktiivista käyttäjää. Tämä luku on pysynyt suhteellisen vakaana, joskin pientä kasvua on havaittavissa vuoden takaiseen. Rekisteröityjä käyttäjiä, joilla on cPouta käyttöoikeus, on yli 3000 kappaletta. Lisäksi cPoudalla on CSC:llä 136 käyttäjää, jotka hyödyntävät pilvialustaa oman työn tueksi sekä palveluiden tuottamiseen.

ePouta

ePouta ympäristössä oli yli 90 aktiivista käyttäjää. Tämä luku on pysynyt suhteellisen vakaana, joskin vuoden takaiseen tilanteeseen verrattuna on havaittavissa pientä kasvua. Rekisteröityjä käyttäjiä, joilla on ePouta käyttöoikeus, on 132 kappaletta. Lisäksi ePoudalla on CSC:llä 22 käyttäjää, jotka tuottavat palveluita ePouta palvelun päällä.

Rahti

Rahdilla oli 1015 rekisteröityä käyttäjää. Asiakaskunta on kasvussa, edellisillä vertailukausilla oli 861, 770 ja 737 käyttäjää.

Tarkastelujakso 1.5.-31.8.2022

Ohjelmistokäyttö Puhdilla ja Mahdilla

Huom. Moduliseuranta kytkettiin Mahdilla pois päältä sen jonojärjestelmälle aiheuttaman ylimääräisen kuorman vuoksi käytettävyyden ja suorituskyvyn takaamiseksi. Siksi kuvaajat Mahdilta puuttuvat.

Miten kuvaajat on laadittu?

CSC:n asentamat eri ohjelmistot laskentapalvelimilla otetaan käyttöön ohjelmistomoduleilla. Alla olevat kuvaajat on laadittu seuraamalla ja kohdistamalla eräajotöissä käytetty aika kyseiselle ohjelmistolle, palvelimelle ja CPU/GPU:lle käytön mukaan. Koska yhdessä työssä voi olla ladattuna monta modulia, eräajoista modulikohtaisesti laskettu summa voi ylittää todellisuudessa yhteensä käytetyn ajan. (Esimerkiksi openbabelilla tuskin on tehty laskuja yli miljoonan CPU-tunnin ajan Puhdilla, vaan moduli on ollut ladattuna samoissa eräajoissa, joissa itse laskentatyö on tehty toisella koodilla.) Toisaalta, lista kattaa vain CSC:n esiasentamat ohjelmistot (ne joista on moduli). Kuvaajista on poistettu kääntäjien, kirjastojen ja vastaavien työkalujen modulit. Tutkijoiden itse asentamat ohjelmistot eivät näy tässä analyysissa, koska niistä ei ole omaa modulitiedostoa. CPU/GPU-ajan ja laskentayksiköiden vertailu keskenään ei ole suoraviivaista. Mahdin datasta puuttuu lisäksi modulikäyttö elokuun alusta lähtien.

Tulkinta

Suurin osa laskenta-ajasta (CPU) kuluu kourallisella ohjelmistoja. GPU-aika rajoittuu vielä pienemmälle joukolle, jossa kärjessä AI/ML-käyttö (python-data, pytorch, tensorflow) ja GPU:ta hyödyntävä molekyylidynamiikka (Desmond, Gromacs, Amber) ja  Scipion (mikroskooppikuvien analyysiohjelma). Käyttäjämääriltään suosituimpia ovat bioinformatiikan ja koneoppimisen/datan käsittelyn työkalut, kemian ja paikkatieto-ohjelmistot. Aikaisempaa suurempi osa AI/ML-käytöstä suoritetaan tutkijoiden itse asentamilla ohjelmistoilla. Sitä helpottamaan laadittiin tykky-aputyökalu, joka myös keventää levyjärjestelmän kuormaa. Suuria Gromacs-ajoja on onnistuneesti siirretty LUMIlle, mikä antaa Mahdilla tilaa muille ohjelmistoille. Puhdilla eniten käyttäjiä on tilasto- ja biotieteiden, data-analyysin ja koneoppimisen ohjelmistoilla. Mahdin käyttödata rajoittuu raportointikauden alkupuolelle, mutta CPU-puolella kärjessä edelleen Gromacs ja muita kemian/materiaalimallinnuksen työkaluja sekä python-ympäristöt. GPU-datasta puuttuu suurin osa käytöstä, mikä johtuu suurelta osin siitä, että tutkijat ovat käyttäneet tykky-kontitustyökalua luomaan omat ajettavat kontit CSC:n asentamien (ja moduliseurannan piirissä olemisen) sijaan.

Tieteelliset ohjelmistot Puhti- ja Mahti-laskentapalvelimilla

• Docs CSC oppaassa dokumentoituna ja asennettuna Puhtiin 123 (131, suluissa edellisen raportin tieto) ja Mahtiin 31 (31). Puhdista poistettiin joitakin tarpeettomiksi jääneita ohjelmistoja.
  

• Ladattavia eri ohjelmistomoduleja Puhtissa 289 (318) ja Mahtissa 112 (108) sekä näiden eri versiot.
  

• Syksyllä 2022 Puhdin käyttöjärjestelmäversio päivitettiin ja oleellisesti kaikki ohjelmat asennettiin uudelleen. Puhdilla asennettujen ohjelmien määrän lasku liittyy tässä yhteydessä tehtyyn karsintaan vanhentuneista tai hyvin vähän käytettävistä ohjelmistoista.

Kaikista asennetuista ohjelmistoista ei ole omaa sivua käyttöoppaassa, vaikka niitä onkin asennettu ja ohjelmistomoduli on saatavilla. Tällä pyrimme maksimoimaan hyödyn käytetystä työajasta harvemmin tarvittujen ohjelmistojen aiheuttamasta työmäärästä ja toisaalta korkeatasoisesta asiakaspalvelusta. Ohjelmistovalikoimaa arvioidaan jatkuvasti käytön, uusien ominaisuuksien, kustannusten ja asiakaspyyntöjen perusteella.

Uniikit käyttäjätunnukset lisenssipalvelun kattamista kaupallisista ohjelmistoista

Tilanteet, joissa käyttäjä on joutunut odottamaan lisenssiä (se ei ole ollut saatavilla)

Taulukko kuvaa niitä päiviä, joina tutkija ei ole saanut kaupallisen ohjelmiston suorittamiseen lisenssiä. Lisenssien määrää on pyritty optimoimaan siten, että eri tutkimus on mahdollista tasapainoisesti eri tiedealoilla, mutta kohtuullisella lisenssikustannuksella. Suurempi lisenssi olisi kalliimpi, ja mahdollistaisi käytön milloin vain, mutta kokonaiskustannusten optimoimiseksi olemme ennemmin hankkineet pienemmän määrän lisenssejä useampiin ohjelmistoihin kuin paljon yhteen. Accelrys (Biovia) -lisenssi on ollut säästösyistä alimitoitettu ja sen tarkoitus on ollut mahdollistaa kesken jääneiden tutkimusprojektien saattaminen loppuun. Ohjelmiston poistuminen valikoimasta tehtiin asteittain, jotta tutkijat saavat ajoissa tiedon poistuvasta ohjelmistosta ja voivat saattaa kesken olevat projektit loppuun. Korvaava ohjelmisto (Schrödinger) mahdollistaa vastaavanlaiset toiminnot, varsinkin pienmolekyyli- ja lääkeainetutkimsen puolella. Siinä lisenssi on ollut merkittävästi laajempi, ja se on riittänyt hyvin paljon suuremmasta käyttäjämäärästä ja volyymista huolimatta. Kvanttikemian valikoimasta myös AMS-ohjelmiston lisäosien lisensointia karsittiin vähäisen käytön vuoksi, mutta perustoiminnallisuudet pidettiin valikoimassa jatkuvuuden vuoksi.

Uniikkien käyttäjätunnusten muutos kuukausittain. Vertailu vuosien 2022 ja 2021 välillä. Positiivinen luku tarkoittaa käyttäjämäärän kasvua, negatiivinen laskua.

Uniikkien käyttäjien muutos vuositasolla. Vertailu vuosien 2022 ja 2021 välillä. Positiivinen luku tarkoittaa käyttäjämäärän kasvua, negatiivinen laskua.

Tarkastelujakso 1.1.-31.12.2022

Summary: In 2022 we saw a record number of Chipster users. We managed to keep up with the new data types of the fast moving lab technologies, and provided analysis tools, support and training in the cutting edge technologies like single-cell RNA-seq, spatially resolved transcriptomics and microbiome data analysis. The data sets are growing and the machine learning based analysis methods are getting more resource intensive, so a lot of technical work was dedicated to ensure sufficient memory, duration and storage for the jobs.  

• Users 407 (previously 366 in 2021)
• Number of jobs 41 912 (previously 38 791 in 2021)
• Availability 95,8% (previously 99,1% in 2021) , due to Rahti glusterfs issue
• Number of user support questions answered 512 (previously 544 in 2021)
• Chipster YouTube channel statistics:
  
  • 146 300  views (6% more than in 2021)
  • 6 250 subscribers (previously 4 758 in 2021)

Development work

• Done 1.1.-31.12.2022
  • Technical

    • Memory: Collect job memory usage to allow provisioning enough memory for analysis of larger datasets.

    • Storage: Monitor storage usage of jobs to allow enough resources for jobs with large temporary files or input data. Provision an own volume for each job when more than 200 GiB of storage space is needed. Ensure that large files up to 1 TiB size can be stored in Chipster and backed up properly. Improve admin user interface to manage users' storage usage. Limit working directory size to prevent trouble for other jobs.

    • Long jobs: Authentication changes to allow long analysis jobs to run up to 1 week. Use all available cpu cores in tools that support it to make them faster.

    • Dealing with Rahti Glusterfs problems: System to run analysis jobs in cPouta to avoid storage problems in Rahti. Panel for urgent messages in Chipster user interface (useful for announcing problems).
    • General: Clarify authentication selection. Allow more concurrent file transfers. Tools for checking that reference data is intact. Update several libraries, including Angular 13, NodeJS 16 and Bootstrap.
  • Bioinformatics
    • Set of tools and video tutorials for analyzing data from new technologies and methods:
      • Spatially resolved transcriptomics
      • Microbiome data analysis based on amplicon sequence variants
        
    • Analysis of single-cell RNA-seq data: Add, update and improve tools, provide new tutorial videos and user documentation.
    • Update reference genomes, aligner tools and several R packages
    • User support (512 support requests in 2022)
    • Training courses
      • Bulk RNA-seq
      • Single-cell RNA-seq
      • Spatially resolved transcriptomics
    • Collaborations
      • FIMM sequencing and bioinformatics core facility
      • Prof. Leo lahti (University of Turku)
      • ELIXIR Single-Cell Omics Community (lead by CSC)

• Doing
  • Courses: Bulk RNA-seq
  • Add, update and improve analysis tools for single-cell RNA-seq and spatially resolved transcriptomics
  • User support

  • Workflow functionality which allows the user to apply former analysis pipeline with tools and parameters for new datasets

Tarkastelujakso 1.9.-31.12.2022

• ChEESE-2P: EU projekti, ”Center of Excellence for Exascale in Solid Earth”
  • Projekti käynnistyy v. 2023 alussa
  • CSC:n sovelluksena jäätikkötulvat

• HiECSs: Suomen Akatemian CoE “High-Speed Electromechanical Energy Conversion Systems”

• • Yleiskehitystä sähkömagnetiikan alueella
  • Artikkeli Rakenteiden Mekaniikka -lehteen kuorien ja solidien uudesta kytkentämenetelmästä
  • Yhteistyö Aalto-yliopiston laboratorioon uudentyyppisen synktronikoneen mallinnun aloittamisessa

• Qubit-mallinnus

• • EuroCC
    • Elementtimenetelmä soveltuu Qubittien mallinnukseen, mm. kapasitanssimatriiseja ja induktiomatriiseja voidaan määritellä mallinnuksen avulla
    • Ensimmäiset kapasitanssimatriisilaskelmat adaptiiviselle verkontihennyksellä.
  • OpenSuperQPlus
    • EU-hakemus meni läpi, mukana noin 8 kk Elmer työtä kahden vuoden aikana 

• Useita uusia piirteitä mm.

• • p-elementteihin liittyvä adaptiivuus
  • dynaamisesti allokoitavat stringit koko koodissa
  • radiositeetin käyttäminen lämpösäteilylaskuissa, mahdollistaa spektraaliset ominaisuudet pinnoille
  • eräiden elementtimäärittelyiden yleistämistä

• Yleistä tukea ja bugifiksejä.
• Vakaa kehitystahti 282:ll git commitilla, alla kukin 4 kk:n jakso v. 2020-2022
  • git log --before yyyy-mm-dd --after yyyy-mm-dd | grep Author | wc -l
    • 2022: 194 (1-4), 230 (5-8), 282 (9-12)
    • 2021: 246, 174, 278
    • 2020: 338, 220, 285
• 22400 youtube-videon katselua elmerfem-kanavalla:
• 

Tarkastelujakso 1.9.-31.12.2022

• CSC:n perustama ja valmentama 6 hengen Revontuli-joukkue menestyi erinomaisesti Supercomputing'22-konferenssin yhteydessä marraskuussa järjestetyssä kandivaiheen opiskelijoille tarkoitetussa IndySCC-kilpailussa: Revontuli voitti HPL Hero Challengen ylivoimaisesti ja sijoittui kokonaiskilpailun kolmanneksi. Kisassa oli mukana kaikkiaan 10 joukkuetta ympäri maailmaa. Valmennus ja kilpailu sisällytettiin joukkueen jäsenten opintoihin 5 opintopisteen arvoisena.

• Uutta

• Tulossa
  • IndySCC-kokemus oli erittäin positiivinen sekä opiskelijoille että CSC:lle, joten päätimme uuden joukkueen kasaamisesta vuode 2023 kilpailuun.
  • Johdatus supertietokoneisiin OAMKin kurssikäytössä.

Tarkastelujakso 1.9.-31.12.2022  [1.9-31.8.2021 | koko 2022 (koko 2021)

• Koulutustapahtumia 25 [30] | 58 (68)
• Kurssipäiviä 47 [73] | 194 (193)
• Osallistujia [485] | 2560 (2611)
  
  •  9 [9] | (66)  webinaaria/online
  • 12 [1] | 18 (0)  luokkahuonekurssia (mukaanlukien hybridit)
  • 3 [2] | 4 (2) MOOC
• Kokonaisarvosana 8.81 [8.93] | 8.74 (8.71)
• Luokkahuone- ja hybridikurssit on taas aloitettu koronan jälkeen. 16 kertaa pidetty viikottainen tunnin kahvihetki on yllä laskettu vain yhdeksi tapahtumaksi. Palaute koulutuksista on pysynyt hyvin korkealla tasolla.
• The Self learning version of the CSC Computing Environment course materials are available in eLena for registered learners and in Github pages for anyone. The latter were included in Matomo monitoring in 2022M9. By the end of 2022 the materials were visited by 600 people every month. The materials are also actively linked to from support requests facilitating support work and making it easy to provide background information and context for the requestor by linking to the materials.

• Uutta:
  • Johdatus Supertietokoneisiin
    • Yhteistyötä ammattikorkeakoulujen ja kansainvälisten yhteistyötahojen kanssa
    • OAMK ottaa kurssin osaksi koulutustaan 2023
  • Viikottaiset kahvihetket asiantuntijoiden ja asiakkaiden kanssa https://ssl.eventilla.com/usersupportcoffee
    
    • Sekä asiantuntijat että tutkijat ovat pitäneet kokeilusta, ja kahveja päätettiin jatkaa - matalan kynnyksen yhteydenottotapa on tuonut uusia käyttäjiä tuen ja palvelujen piiriin ja parantavan ymmärrystä käyttäjien tarpeista
    • Tapaamisia oli yhteensä 16 ja ne tavoittivat lähes kolmesataa käyttäjää
  • CSC:n perustama ja valmentama 6 hengen joukkue hyväksyttiin Supercomputing'22-konferenssin yhteydessä marraskuussa järjestettävään kandivaiheen opiskelijoille tarkoitettuun IndySCC-kilpailuun. Joukkueen jäsenet ovat Aalto-yliopistosta, Helsingin yliopistosta, Tampereen yliopistosta ja LUT-yliopistosta. Kilpailussa joukkueet ratkovat erilaisia suurteholaskentaan liittyviä tehtäviä järjestäjän pilvialustalla.

  • Pilottiprojektien kautta hankittua käytännön osaamista työvoiden tehokäytöstä esiteltiin tutkijoiden kanssa yhdessä järjestetyssä työpajassa.

• Tulossa:
  • Yhteistyön tiivistäminen yliopistojen IT tuen ja koulutuksen kanssa

Käyttöoppaat (docs.csc.fi)

• Sivustoa käytetään paljon ja positiivista palautetta saamme sekä omilta asiakkailtamme, että muiden laskentakeskusten palvelujen käyttäjiltä.
• Docs päivitykset: 33 (X 2021T3) | sisällöntuottajaa ja 141 (222 2021T3) | 665 [720 2021] päivitystä (github)
• docs.csc.fi saavutettavuus oli täydet 100% (tarkka data puuttuu, mutta tiedossa on vain yksi 11 min katko)
  
• CSC:n verkkosivujen käytettävyyttä on selvitetty asiakashaastatteluin. Erityisesti docs.csc.fi sai asiakkailta kiitosta. Sisällön jatkuvan päivittämisen ja kehittämisen lisäksi, sivuille on tehty myös useita käytettävyysparannuksia.
  
• Sivuston kävijäanalyysin yhteenveto (huom. GA-seuranta kytketty pois päältä elokuun lopulla):

Laskennallisen tutkimuksen asiantuntijatuki servicedeskin kautta

• Servicedeskin kautta käyttäjät saavat tukea CSC:n koneiden ja niille asennettujen tieteellisten ohjelmistojen ja tietokantojen käytössä, laskennallisten menetelmien soveltamisessa ja suurteholaskennan ohjelmointiin ja ohjelmien suorituskykyyn liittyvissä kysymyksissä. Pyynnöt Mahdin isoimman jonon käytöstä käsitellään myös servicedeskin kautta.

Laskennallisen tutkimuksen RT-tuen asiakastyytyväisyys

Tukipyyntöjen määrä on palannut alkuvuodesta normaalille tasolle, tai jopa vähän alle. Kuten yllä mainittu, tämä selittyy osin käyttäjähallinnan automaation kautta.  Asiantuntijatuen käyttäjäkokemus on pysynyt hyvin korkealla tasolla.

		ratkaisuaika [d]
jono(t)	tukipyyntöjä	mediaani	top75%
2020 SR-COMP	7747	1.7	7.7
2021 SR-COMP	9045	1.2	6.9
2022 SR-COMP	9639	1.0	3.9
2021/M1-4 SR-COMP	3202	1.9	10.3
2021/M5-8 SR-COMP	2668	1.0	5.9
2021/M9-12 SR-COMP	3145	1.0	5.7
2022/M1-M4 SR-COMP	4058	0.95	4.9
2022/M5-M8 SR-COMP	2187	0.83	3.1
2022/M9-M12 SR-COMP	3201	0.80	2.8

SR-COMP == customer-accounts, hpcplatforms, notebooks-support, research-support, resource, servicedesk. (nämä asiakastuen "jonot" kattavat suurimman osan laskentaympäristön käytön tukipyynnöistä lähtien tunnusten hankkimisesta ja resurssien hakemisesta käytön ongelmien ratkaisemiseen)

Tikettien määrän kasvu selittyy suurelta osin erityisesti customer-accounts ja resurssienjako jonojen liikenteen lisääntymisellä, mikä korreloi kasvaneen asiakasmäärän kanssa. Keskimääräinen ratkaisuaika on lyhentynyt osin siksi, että research support -jonoon, jonka ratkaisuajat ovat keskimäärin pidempiä, on tullut vähemmän tukipyyntöjä, mutta osin myös siksi, että dokumentaatiota on parannettu, resurssienjakoa ja käyttäjähallintaa automatisoitu.

Tikettien ratkaisuaikojen jakaumassa on pitkä häntä. Osa tiketeistä jää odottamaan asiakkaan vastausta ja se suljetaan, kun sitä ei saada. Joskus jo ratkaistu ja suljettu vanha tiketti avataan uudelleen uuden ongelman ilmetessä (tämä myös hieman nostaa edellisten raporttien ratkaisuaikoja niiden julkaisun jälkeen). Toki joidenkin tikettien ratkaisu myös aidosti kestää pitempään. Toisaalta jonoissa on myös lähinnä "tiedoksi" olevia asioita. Määrä ja ratkaisuaika eivät kovin hyvin kuvaa tehtyä työtä tai saatua palvelua, mutta ratkaisuaikojen mediaani antaa suuntaa ja vähintään trendin. Näytteistämällä tehty tyytyväisyyskysely (pulse) kertoo hyvin korkeasta laadusta.

Tarkastelujakso 1.9.-31.12.2022

Uusien ominaisuuksien kehitys:

• Suomenkielinen puheentunnistin kytketty virolaiseen tekstiks.ee-palveluun
• Kielipankki-työkalut päivitetty RedHat Enterprise Linux 8 -yhteensopivaksi

Pääportaali (www.kielipankki.fi)

• Awstats
  • Uniikkeja vierailijoita keskimäärin 4694 kuukaudessa (-17% verrattuna 1.9.-31.12.2021)
• Saatavuus 100 %

Hakupalvelu Korp (korp.csc.fi)

• Awstats
  • Uniikkeja vierailijoita keskimäärin 1915 kuukaudessa (+14% verrattuna 1.9.-31.12.2021)
• Saatavuus: 100 %

Lähteet: awstats, CSC:n OpsView

SIIRRETTY MUIDEN KOHTIEN ALLE, EI RAPORTOIDA ERIKSEEN

SIIRRETTY MUIDEN KOHTIEN ALLE, EI RAPORTOIDA ERIKSEEN

Tarkastelujakso 1.9.-31.12.2022

Uusien ominaisuuksien kehitys:

• Uuden julkaisun R5 ulkoisten käyttäjien määrän kasvu, 1900 aktiivisen käyttäjän raja rikki 
• Itsepalvelumallin parannukset
• Työtilan aikarajoite ja kommunikointi käyttäjille 
• Työtilan elinkaaren parannukset 
• Resurssiallokaation parannukset
• Ops ja kurssien tuki

Tulossa:  

• Itsepalvelumallin vahvistaminen
• Skaalautuminen massiivisille kursseille

Aktiiviset käyttäjät kvartaalettain ja käyttäjäryhmittäin

Kuukausittaiset Notebooks-laskentaympäristön käynnistykset

Kuukausittaiset aktiivisten käyttäjien määrät CSC Notebooks ympäristössä

Tarkastelujakso 1.9.-31.12.2022

Paituli:

Tilastot 1.1.-31.12.2022

• Paituli 2022 vuosiraportti
• Käyttäjiä: 2 603 (-0.5% verrattuna 1.1.-31.12.2021)
• Tiedostolatauksia:  9 745  (-1.5 %)
• API-latauksia: 7 439 666 (+ 570 %), yksi käyttäjä teki syyskyyssä poikeullisesti paljon rajapintapyyntöjä, mutta rajapintojen käyttö on selvästi nousussa
• Saatavuus 99,9 %

Tilastot 1.9.-31.12.2022

• Käyttäjiä: 1155 (-1% verrattuna 1.9.-31.12.2021)
• Tiedostolatauksia:  3 406 (-11 %)
• API-latauksia: 6 440 352 (+1395 %)
• Saatavuus 100 %

ArcGIS lisenssipalvelin 1.1.-31.12.2022

• ArcGIS 2022 vuosiraportti
• Käyttäjiä: 2578 (+ 9% verrattuna 1.1.-31.12.2021)
• Päälisenssin käyttöönottokertoja: 85 351 (+1%)

Uutta:

• Paituli:
  • Uusia aineistoja lisätty: Digi- ja väestövirasto, Väylävirasto, Tilastokeskus ja Maanmittauslaitos
• Puhti: 
  • GIS-softien päivitys RHEL8:lle valmiina
  • Työpaja CSC ja GeoPortti palveluista joulukuussa
• ArcGIS:
  • ArcGIS-konsortion uuden kauden 2023-25 sopimukset allekirjoitettu.
  • ArcGIS lisenssipalvelimelle vuoden 2023 lisenssien lisäys.
  • ESRI Finlandin Tie- ja katuaineiston päivitys

Tulossa:

• Paituli: aineistopäivitykset
• Paituli/Puhti: STAC rajapinta CSC ympäristössä olevien ainestojen helpommaksi löytämiseksi
• Puhti: lisää STAC käyttöesimerkkejä
• ArcGIS: työpaja ArcGIS Online HAKA-kirjautumisesta

Tarkastelujakso 1.9.-31.12.2022

• Asiakastunnusten tuen (CAM) tiketit: 1369 tikettiä kaiken kaikkiaan (1.9. - 30.12.2022)
  • Tikettimäärä jatkuu suurena (koko vuoden tikettimäärät 2019: 3402, 2020: 3723, 2021: 5232 ja 2022: 4785)
  • Tuessa toteutettu paljon automatisointeja ja itsepalvelutoiminnallisuutta (mm. projektien jatkaminen ja sulkeminen), mikä alkaa näkyä tikettimäärissä
• LUMI-asiakastuki tiketit: 96 kpl (edellinen kausi 54 kpl)
  • CAM-prosessi on uudelleenorganisoinut tikettijonojaan ja niiden käsittelyn automatisointia.
• Tieteellisten resurssien jaon (RJR) hakemukset (1.9. - 31.12.2022):
  • Hakemuksia 1024, joista Small-luokan hakemuksia 722, Medium-hakemuksia 209 ja Large-hakemuksia 75
  • Vuoden 2022 aikana resurssihakemuksia kaiken kaikkiaan 2728 kpl, joista Small-luokan hakemuksia 1902, Medium-hakemuksia 577 ja Large-hakemuksia 211
    • Hakemusmäärien kasvu jatkuu, ja erityisesti loppuvuosi 2022 sisälsi erityisen paljon uusia hakemuksia
  • Haettujen resurssien määrä 653 501 344 BU, myönnettyjen resurssien määrä 613 501 000 BU
  • Vuoden 2022 aikana haettujen resurssien määrä 1 941 259 518 BU, myönnettyjen resurssien määrä 1 709 559 520 BU
    • Kokonaiskapasiteetti joka tällä hetkellä on tarjolla on huomattavan suuri
  • RJR:lle on kehitetty uusi joustavampi ja automatisoidumpi työkalu resurssihakemusten käsittelyyn, jotta RJR-prosessi kykenee paremmin vastaamaan hakemusmäärän kasvuun. Tilastonumerot tulevat jatkossa suoraan ko. työkalun automaatioista.

• RJR:n jakamat suomalaiset LUMI-resurssit (1.9. - 31.12.2022)
  
  • Avattu 42 uutta asiakasprojektia (sisältää extreme scale-, regular-, development- ja benchmark-projektit), joille myönnetty 70 390 000 core-tuntia, 9 933 000 GPU-tuntia ja 7 533 000 TB-tuntia. 

Tarkastelujakso 1.9.-31.12.2022

Palvelun saatavuus

• AAI-proxy (user-auth.csc.fi), 86,88% Q4/2022
  • CSC:n autentikointiproxyssä oli kaudella Q4/2022 merkittävä versiopäivitys, joka näkyy saatavuudessa
• External user management (IdM), 98,49% Q4/2022

Käyttäjämäärät

• Aktiiviset käyttäjätunnukset (sis. tekniset tunnukset, koulutustunnukset, admin-tunnukset ja CSC:n henkilökunnan tunnukset) sekä aktiiviset akateemiset laskentaprojektit:

7077

3315

8302

3482

• Muita huomioita
  • Poimintoja tunnuksista tyypeittäin: kansainvälisiä tutkimuskäyttäjiä 336 (ed. kausi 275), kaupallisia käyttäjiä 294 (ed. kausi 254), tutkimuslaitoskäyttäjiä 659 (ed. kausi 620), kansainvälisiä Lumi-käyttäjiä 770 (ed. kausi 399) ja opiskelijatunnuksia 1380 (ed. kausi 1320).
  • Poimintoja projekteista tyypeittäin: kaupallinen käyttö 216 (42 uutta kaupallista projektia vuonna 2022), suomalainen Lumi-käyttö 134 (ed. kausi 90) ja kansainvälinen Lumi-käyttö 334 (ed. kausi 211) projektia
• Datat poimittu viikkoraportista 2022-12-26

Palvelukohtaiset käyttäjämäärät postilistojen kautta 3.2.2023:

• All-csc-users 7652 (edellinen kausi: 6920)
  
• Compute-server-users 3712 (edellinen kausi: 3538)
• Puhti-users 3579 (edellinen kausi: 3402)
• Mahti-users 1498 (edellinen kausi: 1448)
• Pouta-users 1771 (edellinen kausi: 1711)
• ePouta-users 185 (edellinen kausi: 187)
• Rahti-users 877 (edellinen kausi: 804)
• Allas-users 2694 (edellinen kausi: 2553)

IdM Done & Roadmap

Done

• Technical preparations of CSC Level of Assurance (LoA) policy and implementation
• Customer master data work together with CSC Sales and Finance
• Additional Lumi features, for example Lumi project lifecycle functionality
• Additional Lumi features, for example Helmi quantum computing access management
• CSC user account linking to Lumi international accounts (MyAccessID)
• CSC data retention policy implementation
• Identity vetting proof of concept

Roadmap

• User account lifecycle renewal finalisation (tying lifecycle to Haka login and attribute check)
• Pouta and Allas service quotas
• Education use renewal additional functionality (student and course project concepts to IdM)

Tarkastelujakso 1.9.-31.12.2022

Palvelun saatavuus

• Rahti (ko. alustalla ajettava MyCSC), Q3/2022 99.98%

Käyttö

• MyCSC_Users_Overview_2022.pdf

MyCSC Done & Roadmap

MyCSC is actively developed in CSC, in an Agile portal development team. Team also develops and supports CSC Design System and CSC Statistics service (Reppu) API.

MyCSC, Done

• Refactored the whole MyCSC frontend to Vue 3
• Implemented MyCSC Reporting endpoint to new frontend
• Small improvements in IDA applications approval and project membership functionality
• Implemented RJR Tool to handle resource applications from MyCSC
• Implemented identity vetting Proof-of-Concept with external vendor API
• Implemented Lumi international user account (MyAccessId) identity linking (to CSC accounts)
• Enabled GPU resources in LUMI project creation in regular access mode
• Added QPU usage data in project details

MyCSC, Roadmap 2023

• LUMI functionality
  • Currently for example LUMI (MyAccessID) level of assurance functionality
• Identity vetting renewal
  • Non-Haka process, optionally Suomi.fi integration, automatic identity vetting solution
• Improved Virta database / Research Hub integration
  • Publication information, funding decisions, researcher profile