Tarkastelujakso 1.5.-31.8.2022

Tarkastelujakso 1.5.-31.8.2022 

• • Verkon käyttömäärät

• • • Ulkomaat
      • Liikennemäärä ulkomaille pysynyt vakaana, normaalia vuodenaikavaihtelua
        

• • • Kotimaa
      • Liikennemäärä kotimaan Ficix-liikennepisteissä pysynyt vakaana seurantajaksolla, normaalia vuodenaikavaihtelua, heinäkuussa liikennemäärät huomattavasti vähäisempää
        

• • Verkon ja sen palveluiden laatu/saatavuus
    • Yhteyspalveluiden laatu ja saatavuus säilynyt kokonaisuutena hyvällä tasolla. 
      • 16.6 Sodankylässä katko kahden yhtäaikaisen kuitukatkon seurauksena
      • 27.7 Oulussa ennakoimaton paikallinen kuitukatko, joka aiheutti häiriötä Oulun Funet-jäsenille
      • 3.8 Sähkökatko Kemissä ja samanaikainen reititinhuolto Nordunet-verkossa aiheutti katkoa Kemin, Rovaniemen ja Sodankylän Funet-yhteyksille
      • 14.8 Vikaantunut reititin Nordunet-verkossa Hampurissa aiheutti häiriötä Funet-verkon ulkomaanyhteyksille
  • Asiantuntijatuki RT servicedeskin kautta tikettien määränä kuukausittain:

Tarkastelujakso 1.5.-31.8.2022

• • Funet-verkon yleinen tietoturvatilanne on ollut tarkastelujaksolla normaali. Funet CERT vastaanotti ja välitti tavanomaisen määrän haavoittuvuusilmoituksia.  Uhkatoimijoiden kohdennetun aktiivisuuden kasvusta on kuitenkin viitteitä. 
    

Tarkastelujakso 1.5.-31.8.2022

• • Verkkovierailupalvelu eduroamin käyttömäärät ovat palautuneet tarkastelujakson aikana pandemiaa edeltäneelle tasolle. Touko-elokuussa 2022 eduroam-verkkovierailuja tehtiin kaksin- tai jopa kolminkertainen määrä kuukaudessa kuin vastaavina ajanjaksoina edeltävinä vuosina 2021 ja 2020. Pandemian rajoittava vaikutus eduroam-verkkovierailijoiden liikkumiseen valtioiden rajojen yli on vähentynyt ja esimerkiksi suomalaisilla eduroam-tunnuksilla verkkovierailtiin keskimäärin yli 500 000 kertaa kuukaudessa touko-elokuussa 2022.
  • 

Tarkastelujakso 1.5.-31.8.2022

Fairdata-verkoston toiminta

• Fairdata-verkoston toiminta parantaa yhteistyötä ja tiedonkulkua Fairdata-palveluja (IDA, Qvain, Etsin, Metax, Fairdata PAS) sekä Tiedejatutkimus.fi:n tutkimusaineistotietoja hyödyntävien organisaatioiden ja CSC:n välillä.
  
  • Tiedonvälitys myös datatukiverkoston ja koulutustoiminnan välillä.
• Verkoston sähköpostilistalla 123 henkilöä 39 eri organisaatiosta.
• Fairdata-verkostolle järjestetty tarkastelujakson aikana vuoden toinen kokous 12.5.2022.
  • Tampereen yliopisto kertoi kokemuksistaan Fairdata PAS-palvelun käyttöönottoon liittyen.
  • Keskusteltiin tutkimusdataan liittyvien organisaatioroolien kehittämisestä yleisesti CSC:n palveluissa sekä jatkettiin keskustelua mahdollisuudesta tarvittaessa siirtää tutkijan kotiorganisaatiolle tekniset hallintaoikeudet IDAan tallennettuihin ja julkaistuihin aineistoihin.
    

Viestintä

• Fairdata.fi-sivustolla ja Twitterissä tiedotettu mm. palveluiden kehityksestä, CSC:n tuottamista datanhallinnan ohjevideoista ja ajankohtaisista tapahtumista.
• Fairdata.fi-sivuston julkista muutoslokia päivitetty kaikkien ulospäin näkyvien palvelumuutosten osalta ja palvelujen käyttöoppaat pidetty ajan tasalla.
• Fairdata-palveluita esittelevä Twitter-kampanja tavoitti yhteensä 3500 Twitter-käyttäjää.

Asiantuntijatuki Servicedeskin kautta

IDA-, Qvain-, Metax- ja Etsin-palveluihin liittyvät ratkaistut Servicedeskin kautta tulleet tukipyynnöt kuukausittain vuosina 2020, 2021 ja 2022. Tarkastelujakson aikana touko-elokuussa palvelujen tikettijonossa on käsitelty yhteensä 64 tukipyyntöä.

Tarkastelujakso 1.5.-31.8.2022

Fairdata-palvelujen kävijämäärät (selainkäyttöiittymä)

IDA, Etsin, Metax, Qvain - Katsaus tuotantoon

Palveluiden saatavuus

Tarkastelujaksossa palveluiden saatavuus on ollut erinomainen:

• IDA 98,48%
• Etsin 99,99%
• Metax 99,99%
• Qvain 99,99%

IDA- Tutkimusdatan säilytyspalvelun käyttö

• Yllä oleva kuvaaja kattaa palvelun käytön vuoden 2015 lopusta vuoden 2022 elokuun loppuun

• IDAa käyttävien projektien määrä on 468 (kasvua 6 % edelliseltä tarkastelujaksolta). Projekteissa on aktiivisia IDA-käyttäjiä 1005 (kasvua 4 % edelliseltä tarkastelujaksolta).
  
  • Projekteista 34 on sellaisia, joissa projektin vastuuhenkilön tunnus ei ole aktiivinen.
  • Tarkastelujakson aikana 1 projekti on poistettu palvelusta vastuuhenkilön pyynnöstä.
• Dataa on noin 1131 teratavun edestä (kasvua 2 % edelliseltä tarkastelujaksolta).
  • Kaikesta datasta 600 teratavua eli 53 % prosenttia on jäädytetty.
  • Kaikesta datasta 49 teratavua (4 %) kuuluu projekteille, joiden vastuuhenkilö ei ole aktiivinen.

IDA - Tutkimusdatan säilytyspalvelu - Palvelun käyttö organisaatioittain

IDA-palvelu on käytössä 35 eri organisaatiossa. Tarkastelujakson aikana IDAn käyttö jakaantui sektoreittain seuraavasti:

Etsin - Tutkimusaineistojen hakupalvelu

Aineistojen kokonaislukumäärä ajanjaksolla 2016–08/2022

Uusien aineistojen lukumäärä kuukausittain 2019-08/2022

* Aalto-yliopiston Metax-integraation käyttöönotto näkyy uusien aineistojen määrässä erityisesti 05/2022

Julkaistujen aineistojen määrät:

• Uusia aineistoja yhteensä 05-08/2022: 760
  
  • Kuvailutyökalun avulla: 69
  • Haravoinnin ja APIn kautta: 691

IDA, Etsin, Metax, Qvain - Katsaus kehitykseen

Fairdata-palvelujen yhteiset kehityskohteet

Laadunvarmistus

• Jatkettu pilvipalveluresurssien automaattisen hallinnan kehitystä käyttäen infrastructure-as-code lähestymistapaa
• Parannettu julkaisuprosessin automatisaation testausta ja toistettavuutta
• Kehitetty koko palvelukokonaisuuden kattavia integraatio- ja käyttöliittymätestejä
• Tuotu aikaisemmin manuaalisesti päivitettyjä palvelukomponentteja automatisaation alle
• Tuettu kehitystiimejä elinkaaren lopussa olevien teknologioiden migroinnissa
• Yhdenmukaistettu eri komponenttien kehitysprosesseja parantamalla versionhallinnan työskentelytapojen dokumentaatiota

IDA kehitys

• Tehty pieniä parannuksia selainkäyttöliittymän ulkoasuun ja käytettävyyteen
• Palvelun sisäisiä automaattisia prosesseja ja laadunvarmistusta parannettu mm. lokituksen ja palvelun virhetilojen monitoroinnin osalta
• Otettu käyttöön yhteiset prosessit ja työkalut liittyen CSC:n käyttöehtolinjaukseen, jossa suljetun CSC-projektin data poistetaan palveluista 90 päivää projektin sulkemisen jälkeen.

Etsin kehitys

• Tehty pieniä parannuksia ulkoasuun ja käytettävyyteen

Qvain kehitys

• Otettu käyttöön kuvailusivun käyttöliittymäuudistukset (sis. ohjeiden päivitys)
• Optimoitu aineistolistausta myös isojen aineistomäärien käsittelyyn
• Tehty pieniä käytettävyys- & bugikorjauksia
• Jatkettu organisaatiotasoisen kuvailutietojen pääkäyttäjäroolin suunnittelua

Metax kehitys

• Täydennetty organisaatioiden käyttöön Metax integraatioiden tukemiseksi aiemmin julkaistua sivustokokonaisuutta integratioprojektin esittelyllä sekä kuvauksella, miten Metaxista tuodut tutkimusaineistot näkyvät Tiedejatutkimus.fi -portaalissa
• Otettu käyttöön AMK:ien Reportronic-palvelun Metax-integraatio Seamkin osalta
• Otettu käyttöön Aalto-yliopiston aineistometatietojen tuominen Metax API -rajapinnan kautta
• Päivitetty muuttuneita organisaatiotietoja (nimimuutoksia, uusia organisaatioita rahoituspäätösten taakse)
• Jatkettu yhteistyötä CSC:llä sisäisesti sensitiivisen datan aineistometatietojen (SD Submit) sekä EUDAT B2SHARE FMI -aineistometatietojen tuomiseksi Metax API -rajapinnan kautta
• Jatkettu teknistä uudistustyötä uusimpien kehysteknologian ja ohjelmistokomponenttien tarjoamien ratkaisujen hyödyntämiseksi

Tutkimukseen liittyvien aineistojen digitaalinen pitkäaikaissäilytys (Fairdata PAS-palvelu)

CSC on tarkastelujaksolla edistänyt tutkimukseen liittyvien digitaalisen aineistojen pitkäaikaissäilytystä OKM:n kanssa asetettujen tavoitteiden mukaisesti. Tämä tarkoittaa säilytykseen jo hyväksyttyjen aineistojen vaalimista, uusien käyttöönottojen tukemista sekä hallinnollisesti että teknisesti, sekä toiminnan jatkuvaa kehittämistä vastaamaan paremmin korkeakoulujen ja tutkimuslaitosten aineistojen säilyttämisen tarpeita.

Vuonna 2022 toteutuneita toimenpiteitä ovat esim.:

• OKM:n säilytyspäätöksien mukaisten aineistojen eheyden, käyttökelpoisuuden ja autenttisuuden vaaliminen
• Uusien säilytyspäätöksien mukaisesti organisaatioiden tukeminen hallinnollisesti ja teknisesti palvelun käyttöönotossa

  
  

• Uuden paketointityökalun suunnittelu

  
  

• Sensitiivisten aineistojen säilyttämiseen liittyvien kahden kehitysprojektin käynnistäminen yhdessä korkeakoulujen kanssa

• Säilytyspäätöskohtaisen autorisoinnin suunnittelu

  
  

• Aineistotiedostojen hallintatoimintoja (valmisteluvaiheen tallennuspalveluun liittyen)

  
  

• AVI-tiedostomuototuki

  
  

  
  

• Tekstiaineistojen merkistöjen hallinnan parantaminen

• Bugikorjauksia ja muita pienempiä kehitystöitä

Laajempi PAS-palveluiden vuosiraportti 2021 on saatavilla digitalpreservation.fi-sivustolla.

Tarkastelujakso 1.5.-31.8.2022

18.5.2022  Webinar: CSC´s generic services for storing, sharing and publishing data,  60 osallistujaa

23.5.2022: Webinaari: Digitaalisen tutkimusaineiston säilytys Fairdata PAS-palvelussa, 47 osallistujaa

The Elements of FAIR - Interoperability -video julkaistu 10.5.2022, katsottu yli 200 kertaa. https://youtu.be/f9m4montnF0

AVOTT Datakoulutusryhmän kesäpäivä 24.8.2022, esitys: CSC: Askeleet kohti ymmärrettäviä aineistoja

Manage well and get preserved -videosarja kokonaisuudessaan (myös suomenkielinen tekstitys) https://video.csc.fi/playlist/dedicated/0_gb7fb5el/0_ya3dgdcn

Datatukiverkosto

• • Organisaatioita mukana 33
  • Sähköpostilistalla 140 jäsentä
  • Chat-käyttäjiä 123
  • Kuukausittaiset datakahvit, osallistujia 15-30 eri organisaatioista
• RDM koulutusmateriaalien tuottaminen ja päivittäminen tutkijoiden ja tutkimusorganisaatioiden käyttöön sekä kansainvälisten datanhallinnan hyvien käytäntöjen skaalaaminen kansallisiin tarpeisiin.
• Useita tapahtumia suunniteltu syksylle 2022. 

Tarkastelujakso 1.5.-31.8.2022

• Lisätty yhteistyötä Social Sciences & Humanities loppukäyttäjien kanssa datanhallinnan tukitarpeiden kartoittamiseksi ja käynnistetty kohdennetun ohjemateriaalin tuottaminen ja koulutuksen suunnitteleminen.
• Päivitetty datanhallinnan tukimateriaaleja ja ohjeita (doc.csc & datanhallinnan verkkokurssi) 
• Osallistuttu AVOTT:n asiantuntijaryhmien työskentelyyn (etenkin tutkimusaineistojen avoimuus-, ja menetelmien avoimuus- ryhmissä edistetty FAIR-periaatteita)
• Osallistuttu keskusteluun kansallisen DMP-työn jatkamisesta ja ohjeiden ja templaattien ylläpitämisestä (DMP-konsortion ohella). Tulossa työryhmä arkaluontoisen datan kansallisen DMP-ohjeen päivittämiseksi. 
• Tuettu käyttäjiä ja organisaatioita datanhallinnan palveluiden valinnassa ja datanhallinnan suunnittelussa.
  
  

Tarkastelujakso 1.5.-31.8.2022

Aineistonhallinnan suunnittelun (DMP) edistäminen

• DMP-konsortion ohjausryhmä on aloittanut säännölliset kokoukset ja konsortion jäsenten osallistumista toiminnan suunnitteluun ja toimintaan valmisteltiin. Konsortion ensimmäinen toimintasuunnitelma hyväksyttiin ja kehittämistä jatketaan. Konsortion työ on päässyt hyvin käyntiin.
• Suunniteltu webinaareja eri aineistonhallinnan suunnittelun työkaluista.

Yhteentoimivuuden ja toistettavuuden edistäminen

• Edistetty tutkimuksen palveluiden yhteentoimivuutta sisäisellä arkkitehtuuriprojektilla, kehitystyöllä sekä edistetty sisäistä koordinaatiota.
• Käyty läpi palveluita tavoitetilan valmistelua sekä palvelukatalogin ja verkkosivujen kehittämistä silmällä pitäen.
• Suunniteltu palvelukatalogia yhteentoimivaksi kansallisesti ja kansainvälisesti.
• Yhteistyöhankkeen suunnittelu aloitettu digitaalisten ihmistieteiden datapalveluiden tarjoajien kanssa.
• Työtä Kansalliskirjaston Ihmistieteiden neuvottelukunnassa, Finto-konsortiossa, Avoimen tieteen ryhmissä, tutkimuslaitosten kanssa ja kansainvälisissä yhteyksissä esim RDA ja EOSC task forces. 

PID palvelut

• • Jatkettu yhteisen tiekartan kirjoittamista PID-verkostossa. Mukana laajalti asiantuntijoita eri organisaatioista PID-verkoston tiimoilta.
  • Koordinoitu toimintaa Kansalliskirjaston kanssa.
  • Neuvottu organisaatioita PID-asioissa.
  • Seurattu kansainvälistä kehitystä osallistumalla PID-työryhmiin (FDO forum, ePiC, RDA, Knowledge Exchange).
  • DataCite Finland -konsortiossa on edelleen 6 jäsentä. Uusia mahdollisia jäseniä tulossa.
  • PID-mikropalvelun tuotantoonvienti käytännössä valmis.
  • Sisäisen PID-arkkitehtuurin suunnittelun jatkoa. Dokumentoitu ja muotoiltu politiikkoja eri datapalveluiden osalta. 
  • Koordinoitumista EOSCin PID-toiminnan suuntaan.

Tarkastelujakso 1.5.-31.8.2022

•  Sensitive Data (SD) -palveluista SD Desktop ja SD Connect toimivat jo tuotannossa. 
  • Asiakaspalvelu opastanut palvelun käyttöönotossa sekä soveltuvuudessa eri alojen arkaluontoiselle aineistolle. Tutkijat edustuvat mm. kielitieteitä, taloustieteita sekä bio- ja lääketieteitä. 
  • Asiakasorganisaatioiden käyttötapauksia kuunneltu, dokumentaatiota suunnattu kattamaan paremmin kohderyhmien vaatimuksia sekä valmisteltu koulutusta.
  • Loppukäyttäjien määrä kasvaa edelleen tasaisesti .
  • Työ DL2021-ympäristön HPC-laskennan hyödyntämisen mahdollistamiseksi arkaluonteiselle aineistolle jatkunut. Sisäisen pilotin avulla osoitettu toiminnallisuudet aineiston hallinnan osalta.
• Tuki OKM:n 2-vuotisen esikoulun kokeilun vaikutuksista (https://okm.fi/hanke?tunnus=OKM004:00/2020) jatkunut.
• Uusien lisäpalveluiden arkkitehtuurin ja palvelumallien (SD Apply, SD Submit) valmistelua on jatkettu.
• CSC allekirjoitti eurooppalaisen Federated European Genome-phenome Archive (FEGA) -palveluun liittymisestä (linkki uutiseen).
• FEGA palvelun asiakaspalvelun prosessit sekä uuden tuotantopalvelun asiakkaiden ohjeistus valmisteltiin. Ohjeistusta pilotoidaan THL biopankin kanssa. 
• Findata säädöksen vaatimukset toteuttavan SD Desktopin osalta valmistauduttu ensimmäisten tutkimusprojektien käynnistämiseen yhteistyössä Findatan kanssa. 

Tarkastelujakso 1.5.-31.8.2022

Käyttäjien lukumäärä

Mahdin käyttäjämäärien kasvu on ollut vakaata. Vuoden takaiseen tilanteeseen verrattuna Mahdissa kasvu on ollut 4-27%. Kasvu on vuoden alkuun verrattuna hiukan maltillisempi. Tämä johtuu siitä että vielä vuoden 2021 alussa Mahti palvelu oli suhteellisen tuore palvelu ja siinä ei vielä ollut GPU:ita.

Puhdin käyttäjämäärät ovat jonkin verran kasvaneet, kun verrataan samaan ajanjaksoon vuonna 2021. Käyttäjiä on ollut 8% - 21% enemmän verrattuna edelliseen kauteen. Käyttäjät, jotka käyttävät GPU:ita (eli Mahti-AI ja Puhti-AI), käyttävät usein myös CPU-resursseja. Toisaalta myös merkittävä määrä asiakkaita käyttää pelkästään kiihdytettyä laskentaa. Puhdin isompi käyttäjämäärä on linjassa palvelun luonteen kanssa. Puhdissa suoritetaan enimmäkseen pieniä ja keskisuuria laskuja, toisin kuin Mahdissa, jossa paino on suurilla ja keskisuurilla laskuilla. Pienin Mahdissa käytettävä resurssi on 128 laskentaydintä (yksi laskentasolmu), joka on enemmän kuin mitä monet pienet käyttäjät voivat hyödyntää tehokkaasti.

Uusi www pohjainen käyttöliittymä otettiin käyttöön lokakuussa 2021 ja sen käyttö on jatkanut kasvuaan siten, että sillä on nyt jo noin 200 uniikkia käyttäjää kuukaudessa.  Käyttäjien määrä, ja myös suhteellinen osuus kaikista käyttäjistä on kasvanut voimakkaasti palvelun ensimmäisen vuoden aikana. Elokuussa jo noin 25% käyttäjistä on myös www käyttöliittymän käyttäjiä. Sen parempi toiminnallisuus, suurempi tunnettuvuus ja laajempi ohjelmistovalimoima tukee tätä kasvua. 

Alla olevassa taulukossa on tarkat käyttäjämäärät Puhdissa ja Mahdissa, joita esitetään ylläolevissa graafeissa.

Laskentapalvelujen käytettävyys ja käyttöaste

Laskentapalvelimien käyttöaste tarkastelujaksolla on pysynyt hyvällä tasolla. Jonot ovat verrattain lyhyet ja resursseja on vielä helposti saatavilla. Touko-kesäkuussa käyttöaste on Mahdissa pienempi kuin edellisenä vuotena. Syy tähän on oletettavasti Mahdin käytöjärjestelmän päivitys Red Hat Enterprise Linux 8 versioon. Tämä versiopäivitys varmistaa, että tietoturva supertietokoneessa pysyy hyvällä tasolla ja että käyttöympäristö on ajantasainen. Samalla käyttäjille päivitys merkitsi sitä, että omat ohjelmistot piti kääntää uudelleen. Mahti-AI:n, eli GPU:iden, jatkuvasti pienenä pysyvä käyttöaste johtuu osittain siitä, että laitteistovikojen takia merkittävä osa näistä 24:stä laskentasolmusta on ollut poissa käytössä. Huoltotoimenpideiden jälkeen tilanteen pitäisi normalisoitua viimeistään vuoden loppuun mennessä. Alla olevassa kuvaajassa esitetään käytetyt resurssit Puhdissa ja Mahdissa skaalattuna laitteistojen teoreettiseen laskentatehoon.

Laiteinvestoinnit

2022 alkuvuoden aikana Puhtiin on tilattu enemmän paikallisia levyjä, jotka parantavat IO intensiivisten työkuormien nopeutta. Nämä ovat asennettu ja asiakkaiden käytössä.

Tarkastelujakso 1.5.-31.8.2022

• Altaan kokonaiskapasiteettia on kasvatettu tarkastelujakson aikana ja on nyt 15,7 PiB. Tämä tapahtui pääsääntöisesti uudellenjärjestämällä palvelimia.
• Tarkastelujakson aikana on poistettu noin 1 PiB:n verran dataa, joka oli varmuuskopiotu Altaaseen HPCARCHIVE:sta luopumisen yhteydessä.
• Loppukäyttäjiä on kehotettu siirtämään dataa, joka ei ole aktiivisessä käytössä, Puhdin Scratchilta Altaaseen, täyttäen vapautunutta kapasiteettiä nopeasti uudestaan.

Altaan saatavuus

Kapasiteetin kasvattaminen aiheutti palvelun asiakasrajapintaan odottamattomia lyhyitä katkoksia toukokuussa. Vastaavia tilanteita ei aikaisemmin ole havaittu muutoksia tehdessä. 

Altaan datamäärät ja käyttöaste

Altaassa oli vuoden 2022 alussa säilytetty 5,3 PiB dataa ja datan määrä on tarkastelujakson aikana kasvanut 6,2 PiB:hen.

Alla olevasta taulukosta näkee datamäärän ja Altaan käyttöaste, joka kuukauden ensimmäisenä päivänä.

Altaan käyttäjät

Tarkastelujakson aikana 776 akateemista projektia käyttivät Allasta. Vertailun vuoksi voidaan todeta että Altaan käyttäjinä vuoden 2021 aikana oli yhteensä 690 akateemista projektia.

Sektoreittain Allasta käyttävät projektit jakautuivat seuraavasti:

Datamäärän jakautuminen projektien kesken

Alla olevasta kuvasta näkyy ne kymmenen organisaatiota, joiden akateemisilla projekteilla oli eniten dataa Altaassa tarkastelujakson lopussa.

Kun projekti tulee Altaan käyttäjäksi, sille myönnetään 10 TiB tallennustilaa vuodeksi. Lisää tallennustilaa resurssijakoryhmä jakaa lähtökohtaisesti 50 TiB:hen asti automaattisesti, vuodeksi kerrallaan. Alla olevasta kuvasta näkyy että tällä hetkellä 91% projekteille riittää 10 TiB hyvin, 8% säilyttää 10-50 TiB dataa Altaassa ja ainoastaan 1% enemmän kuin 50 TiB.

CSC:n tuki Altaan käyttäjille

CSC:n tuki Altaan loppukäyttäjille on järjestetty CSC:n yleisen asiakaspalvelun kautta (servicedesk@csc.fi) ja kysymykset/ongelmat dokumentoidaan CSC:n tikettijärjestelmään. Tarkastelujakson aikana on vastattu 43 yhteydenottoon.

2022

• Tehty
  • Kompetensseja monista työvuomenetelmistä on kehitetty (nextflow, Hyperqueue, jne.) , ja näitä on asennettu ja dokumentointia parannettu (https://docs.csc.fi/computing/running/throughput/)
  • Mahdin käyttöjärjestelmä on päivitetty versioon RedHat Enterprise Linux 8, ja Puhdin vastaavaa päivitystä on valmisteltu. Puhdin päivitys on lokakuun 4 - 5 päivä.
    • Koko ohjelmistoympäristö on uudistettu samalla
  • Paikallisten levyjen määrää nostetaan Puhdissa lisäinvestoinnilla.
  • Puhdin www-käyttöliittymä on parannettu lukuisilla uusilla toiminnallisuuksia
    • kiihdytetty visualisointi
    • tuki ajaa muokattuja notebooks ympäristöjä, tukee kurssikäyttöä
    • Matlab applikaatio
  • Tykky työkalu jolla voidaan helposti kontittaa ja siten tehostaa  Conda ympäristöjen ja muitden vastaavien ympäristöjen asennukset.
  • Lisenssipalvelun tarjoaminen Lumi ympäristöön
• Käynnissä:
  • Vuoden aikana tuetaan jatkuvasti Puhdin ja Mahdin käyttöympäristöjä. Nämä ovat raportoitu osana menetelmä ja tiedealatukea tässä raportissa. 
  • www-käyttöliittymän lisääminen Mahti ja Lumi-supertietokoneille, avataan 2023 kevään aikana.
  • Sensitiivisen datan tukea suurteholaskennan alustoilla kehitetään, fokuksena datan kryptaus, sekä laskennan ja datan riittävä eristäminen.
  • Parannetaan supetietokoneiden kykyä tukea uusia Digital Twin projekteja
  • Rinnakkaislevyjärjestelmän suorituskyvyn seurannan kehittäminen ja kuormaa aiheuttavien töiden identifiointi

2021 - 2026

Nykyiset supertietokoneet palvelevat Suomen tiedettä noin vuosiin 2025 - 2026 asti. Koneiden elinkaaren loppuminen riippuu sekä mahdollisista lisäinvestoinnista jotka nostaisivat niiden tehokkuutta sekä jatkovuosien kustannuksista verrattuna koneiden suhteelliseen laskentakapasiteettiin. Selvää on kuitenkin että vuosien 2025-2026 aikana on tarve uudelle kansalliselle supertietokonekapasiteetille.

Kuvassa esitetään palveluiden elinkaari. Vihreällä olevat alueet ovat tavallista tuotantoaikaa. Keltaisella merkityt alueet ovat joko rajoitettua käyttöä tai käyttö vaatisi lisäinvestointia tai tuen jatkamista. www.Puhti ja www.Mahti viittaa tässä suunniteltuun www-käyttöliittymän käyttöönottoon. Tavoitteena on ylläpitää ja kehittä laskentapalveluiden toiminnallisuutta ja ajanmukaisuutta niiden elinkaaren aikana. Osa tätä työtä on Puhdin ja Mahdin käyttöjärjestelmän päivitys vuoden 2022 aikana. 

Tarkastelujakso 1.5.-31.8.2022 / ML-ympäristö

• Koneoppimistyökalujen ja data-analytiikan R-ympäristön päivitys RHEL8-ympäristöön Puhdissa
• Koneoppimistyökalujen asennus Puhdin selainkäyttöliittymään
• Koneoppimistyökalujen asennus ja testaaminen LUMI:ssa
• Esimerkkitoteutuksia ML-dashboardeista Rahtiin
• Isompi dokumentaatiopäivitys raskaan koneoppimisen osalta Multi-GPU and multi-node machine learning -oppaaseen

Tarkastelujakso 1.5.-31.8.2022

Koulutus

Tarkastelujakson aikana ei järjestetty kursseja, mutta tulevia kursseja valmisteltiin:

• Pouta cloud course (ENG, 1 päivän) (tammikuu)
• Rahti cloud course (ENG, 1 päivän) (tammikuu)
• Deploying and Using Jupyter Notebooks on Rahti Advanced (ENG, 1 päivän) (tammikuu)
• How to make container images with Rahti? Advanced (ENG, 1 päivän) (tammikuu)

Asiantuntijatuki servicedeskin kautta

Pilvipalveluiden tukipyynnöt sisältävät sekä rahti- että cPouta -ymäristöjen tukipyyntöjä. Tapausten huippu elokuussa ja syyskuussa 2020 johtuu vanhentuneista tileistä ja hankkeista. Joka lukuvuosi luodaan paljon projekteja ja tilejä ja hankkeet päättyvät normaalisti 12 kuukauden kuluttua. Huippu tammikuussa 2021 johtuu Rahti-tiimin helmikuussa ratkaisemista "docker hub" rajoituksista. Parannettu dokumentaatio ja projektien elinkaarihallinnan automatisoinnin lisääminen ovat vähentäneet tukipyyntöjen määrää vuonna 2021, ja lasku on jatkunut 2022.  Meillä on vuonna 2022 enemmän käyttäjiä kuin aiempina vuosina, mutta vähemmän tukitapauksia. Ainoa kuukausi, jossa oli enemmän tukipyyntöjä kuin edellisenä vuonna, on kesäkuu 2022, jolloin Rahdissa oli ongelmia levyjärjestelmissä.

Käyttäjämäärät

cPouta

cPouta ympäristössä on noin 875 aktiivista käyttäjää. Tämä luku on pysynyt suhteellisen vakaana, joskin pientä kasvua on havaittavissa vuoden takaiseen. Rekisteröityjä käyttäjiä, joilla on cPouta käyttöoikeus, on yli 3000 kappaletta. Lisäksi cPoudalla on CSC:llä 129 käyttäjää, jotka hyödyntävät pilvialustaa oman työn tueksi sekä palveluiden tuottamiseen.

ePouta

ePouta ympäristössä on yli 80 aktiivista käyttäjää. Tämä luku on pysynyt suhteellisen vakaana, joskin vuoden takaiseen tilanteeseen verrattuna on havaittavissa pientä kasvua. Rekisteröityjä käyttäjiä, joilla on ePouta käyttöoikeus, on 134 kappaletta. Lisäksi ePoudalla on CSC:llä 22 käyttäjää, jotka tuottavat palveluita ePouta palvelun päällä.

Rahti

Rahdilla on 861 rekisteröityä käyttäjää. Asiakaskunta on kasvussa, edellisillä vertailukausilla oli 770 ja 737 käyttäjää.

Tarkastelujakso 1.5.-31.8.2022

Ohjelmistokäyttö Puhdilla ja Mahdilla

Miten kuvaajat on laadittu?

CSC:n asentamat eri ohjelmistot laskentapalvelimilla otetaan käyttöön ohjelmistomoduleilla. Alla olevat kuvaajat on laadittu seuraamalla ja kohdistamalla eräajotöissä käytetty aika kyseiselle ohjelmistolle, palvelimelle ja CPU/GPU:lle käytön mukaan. Koska yhdessä työssä voi olla ladattuna monta modulia, eräajoista modulikohtaisesti laskettu summa voi ylittää todellisuudessa yhteensä käytetyn ajan. (Esimerkiksi openbabelilla tuskin on tehty laskuja yli miljoonan CPU-tunnin ajan Puhdilla, vaan moduli on ollut ladattuna samoissa eräajoissa, joissa itse laskentatyö on tehty toisella koodilla.) Toisaalta, lista kattaa vain CSC:n esiasentamat ohjelmistot (ne joista on moduli). Kuvaajista on poistettu kääntäjien, kirjastojen ja vastaavien työkalujen modulit. Tutkijoiden itse asentamat ohjelmistot eivät näy tässä analyysissa, koska niistä ei ole omaa modulitiedostoa. CPU/GPU-ajan ja laskentayksiköiden vertailu keskenään ei ole suoraviivaista. Mahdin datasta puuttuu lisäksi modulikäyttö elokuun alusta lähtien.

Tulkinta

Suurin osa laskenta-ajasta (CPU) kuluu kourallisella ohjelmistoja. GPU-aika rajoittuu vielä pienemmälle joukolle, jossa kärjessä AI/ML-käyttö (python-data, pytorch, tensorflow) ja GPU:ta hyödyntävä molekyylidynamiikka (Desmond, Gromacs, Amber) ja  Scipion (mikroskooppikuvien analyysiohjelma). Käyttäjämääriltään suosituimpia ovat bioinformatiikan ja koneoppimisen/datan käsittelyn työkalut, kemian ja paikkatieto-ohjelmistot. Aikaisempaa suurempi osa AI/ML-käytöstä suoritetaan tutkijoiden itse asentamilla ohjelmistoilla. Sitä helpottamaan laadittiin tykky-aputyökalu, joka myös keventää levyjärjestelmän kuormaa. Suuria Gromacs-ajoja on onnistuneesti siirretty LUMIlle, mikä antaa Mahdilla tilaa muille ohjelmistoille. Puhdilla eniten käyttäjiä on tilasto- ja biotieteiden, data-analyysin ja koneoppimisen ohjelmistoilla. Mahdin käyttödata rajoittuu raportointikauden alkupuolelle, mutta CPU-puolella kärjessä edelleen Gromacs ja muita kemian/materiaalimallinnuksen työkaluja sekä python-ympäristöt. GPU-datasta puuttuu suurin osa käytöstä, mikä johtuu suurelta osin siitä, että tutkijat ovat käyttäneet tykky-kontitustyökalua luomaan omat ajettavat kontit CSC:n asentamien (ja moduliseurannan piirissä olemisen) sijaan.

Laskentaresurssikäyttö tiedealoittain ja organisaatioittain

Piirakkakuvaajat sisältävät myös Ilmatieteen laitoksen oman osion, modulidatasta se on suodatettu pois. CSC:n osuudesta suurimman osan (31 M ly) vie tarjotut palvelut:  cPouta, ePouta, Rahti, Notebooks, Chipster, ... jotka kirjataan CSC:n käytöksi, jonka lisäksi superkoneilla pääsosin testaus/benchmark -käyttöä yhteensä 6 M ly tai 0.8%.

Lähde: Reppu-dashboard

Tieteelliset ohjelmistot Puhti- ja Mahti-laskentapalvelimilla

• Docs CSC oppaassa dokumentoituna ja asennettuna Puhtiin 123 (131, suluissa edellisen raportin tieto) ja Mahtiin 31 (31). Puhdista poistettiin joitakin tarpeettomiksi jääneita ohjelmistoja.
  

• Ladattavia eri ohjelmistomoduleja Puhtissa 318 (309)  ja Mahtissa 108 (93) sekä näiden eri versiot.
  

Kaikista asennetuista ohjelmistoista ei ole omaa sivua käyttöoppaassa, vaikka niitä onkin asennettu ja ohjelmistomoduli on saatavilla. Tällä pyrimme maksimoimaan hyödyn käytetystä työajasta harvemmin tarvittujen ohjelmistojen aiheuttamasta työmäärästä ja toisaalta korkeatasoisesta asiakaspalvelusta. Conda-asennuksia on korvattu singularity-container -versioilla levyn suorituskyvyn parantamiseksi.

Uniikit käyttäjätunnukset lisenssipalvelun kattamista kaupallisista ohjelmistoista

Tilanteet, joissa käyttäjä on joutunut odottamaan lisenssiä (se ei ole ollut saatavilla)

Taulukko kuvaa niitä päiviä, joina tutkija ei ole saanut kaupallisen ohjelmiston suorittamiseen lisenssiä. Lisenssien määrää on pyritty optimoimaan siten, että eri tutkimus on mahdollista tasapainoisesti eri tiedealoilla, mutta kohtuullisella lisenssikustannuksella. Suurempi lisenssi olisi kalliimpi, ja mahdollistaisi käytön milloin vain, mutta kokonaiskustannusten optimoimiseksi olemme ennemmin hankkineet pienemmän määrän lisenssejä useampiin ohjelmistoihin kuin paljon yhteen. Accelrys (Biovia) -lisenssi on ollut säästösyistä alimitoitettu ja sen tarkoitus on ollut mahdollistaa kesken jääneiden tutkimusprojektien saattaminen loppuun. Ohjelmiston poistuminen valikoimasta tehtiin asteittain, jotta tutkijat saavat ajoissa tiedon poistuvasta ohjelmistosta ja voivat saattaa kesken olevat projektit loppuun. Korvaava ohjelmisto (Schrödinger) mahdollistaa vastaavanlaiset toiminnot, varsinkin pienmolekyyli- ja lääkeainetutkimsen puolella. Siinä lisenssi on ollut merkittävästi laajempi, ja se on riittänyt hyvin paljon suuremmasta käyttäjämäärästä ja volyymista huolimatta. Kvanttikemian tarpeisiin valikoimasta löytyy myös AMS-ohjelmisto, jossa on graafinen käyttöliittymä, jolla voi luoda lähtötiedostoja myös muille materiaalitekniikan mallinnusohjelmistoille (Quantum Espresso, VASP).

Tarkastelujakso 1.5.-31.8.2022

• Users 113 (previously 168 in 1.1.-30.4.2022), this because summer holiday vrt. previous busy period
• Number of jobs 9481 (previously 18 858 in 1.1.-30.4.2022), this because summer holiday vrt. previous busy period
• Availability 90.2% (previously 98.0% in 1.1.-30.4.2022) , due to Rahti glusterfs issue
• Number of user support questions answered 148 (previously 121 in 1.1.-30.4.2022)
• Chipster YouTube channel statistics:
  • 515 new subscribers (previously 504). Total now 5831 (previously: 5377).
  • 48 208  views (previously 55 037)
  • 

Development work

• Done 1.5.-31.8.2022
  • Technical
    • Panel for urgent messages in Chipster user interface (good for Rahti problems like the Glusterfs issue)
    • Limit working directory size to prevent trouble for other jobs
    • Use all available cpu cores in tools that support it to make them faster
  • Bioinformatics
    • Set of analysis tools for new area: Spatial transcriptomics
    • Set of analysis tools for new area: ASV analysis of microbiome data
      
    • Tutorial videos for spatial transcriptomics
    • Add, update and improve analysis tools for single-cell RNA-seq
    • New tutorial videos and user documentation for single-cell RNA-seq data analysis
    • Update aligner tools and several R packages
    • User support

• Doing
  • Add, update and improve analysis tools for single-cell RNA-seq
  • Course on single-cell RNA-seq
  • Course on spatial transcriptomics
  • User support

  • Workflow functionality which allows the user to apply former analysis pipeline with tools and parameters for new datasets

  • Run analysis jobs in cPouta to avoid storage problems in Rahti
  • Update reference genomes

Tarkastelujakso 1.5.-31.8.2022

• ChEESE-2: EU projekti, ”Center of Excellence in Solid Earth”

• • EU hyväksyi projektin, jossa Elmerin osalta tullaan mallintamaan jäätiköiden epästabiiliuteet liittyviä riskitekijöitä
  • Myönteisen tuloksen ansiosta Elmer-tiimi on nyt mukana kahdessa Center of Excellence -konsortiossa

• HiECSs: Suomen Akatemian CoE “High-Speed Electromechanical Energy Conversion Systems”

• • Yleiskehitystä sähkömagnetiikan alueella

• Arrowhead Tools: EU Projekti

• • Projekti tuli raportointijakson aikana päätökseen
  • Merkittävän hyöty Elmerille on sähkömoottoreiden mallinnuksen kehitys sekä Elmerin RAHTI-palvelu
  • Yhteistyö VTT:n ja ABB:n kanssa jatkuu muilla instrumenteilla

• Qubit-mallinnus

• • Elementtimenetelmä soveltuu Qubittien mallinnukseen, mm. kapasitanssimatriiseja ja induktiomatriiseja voidaan määritellä mallinnuksen avulla
  • Sähkömagneettisen aaltoyhtälön pohjustusta on onnistuttu parantamaan, mikä edesauttaa tehokasta laskentaa.
  • Elmer-tiimi mukana OpenSuperQPlus EU-hakemuksessa, jossa Elmeriä sovellattaisiin laskentamoottorina mallien rinnakkaislaskennassa

• Uusia artikkeleita, ainakin

• • Kontaktimekaniikasta Aalto-yliopiston tutkijoiden kanssa
  • Jäätikköaiheinen paperi Cryosphere-lehdessä

• Useita uusia piirteitä mm.

• • Alustava 3D AMR
  • Cahn-Hilliard yhtälö

• Yleistä tukea ja bugifiksejä.

Tarkastelujakso 1.5.-31.8.2022 (koko 2021) [1.5-31.8.2021]

• Sisältää myös PRACE, EuroHPC CC, ja LUMI Roadshowt
• Koulutustapahtumia 15 (68) [14]
• Kurssipäiviä 64 (193) [123]
• Osallistujia 485 (2611) [551]
  
  • 9 (66) [13] webinaaria/online
  • 1 (0) [0] luokkahuonekurssia
  • 4 (2) [1] MOOC
• Kokonaisarvosana 8.93 (8.71) [8.83]
• Kesäkausi on perinteisesti vähän hiljaisempi, ja lisäksi painoa on siirretty live-koulutuksista kohti paremmin skaalautuvia MOOC-ympäristöjä. Suurteholaskennan kesäkoulu, joka on HPC-kyvykkyyden alueella lippulaivatapahtumamme, järjestettiin parin vuoden (korona)tauon jälkeen. Palaute koulutuksista on pysynyt hyvin korkealla tasolla.

• Uutta:
  • Johdatus Supertietokoneisiin
    • Yhteistyötä ammattikorkeakoulujen ja kansainvälisten yhteistyötahojen kanssa
    • OAMK ottaa kurssin osaksi koulutustaan 2023
  • Viikottaiset kahvihetket asiantuntijoiden ja asiakkaiden kanssa https://ssl.eventilla.com/usersupportcoffee
    
    • Sekä asiantuntijat että tutkijat ovat pitäneet kokeilusta, jotka päätettiin jatkaa ainakin vuoden loppuun
  • CSC:n perustama ja valmentama 6 hengen joukkue hyväksyttiin Supercomputing'22-konferenssin yhteydessä marraskuussa järjestettävään kandivaiheen opiskelijoille tarkoitettuun IndySCC-kilpailuun. Joukkueen jäsenet ovat Aalto-yliopistosta, Helsingin yliopistosta, Tampereen yliopistosta ja LUT-yliopistosta. Kilpailussa joukkueet ratkovat erilaisia suurteholaskentaan liittyviä tehtäviä järjestäjän pilvialustalla.

  • Uusi artikkelisarja aloitettu, joka konkretisoi suurteholaskentaa käyttäen CSC:n tutkijoiden projekteja esimerkkeinä https://www.csc.fi/-/molekyylidynamiikka-kaytetyin-menetelma-cscn-ymparistossa

• Tulossa:
  • Yhteistyön tiivistäminen yliopistojen IT tuen ja koulutuksen kanssa
  • Työvuotyöpaja tehokäyttöön

Käyttöoppaat (docs.csc.fi)

• Docs CSC alustan kävijäseuranta on muutettu. Google-analytiikka kytkettiin pois päältä asiakkaiden yksityisyyden parantamiseksi elokuun lopulla. Siihen saakka sivujen käyttö oli pääpiirteissään ennallaan.
• Kävijäseurannan toteuttaminen pohjautuen matomo-tekniikkaan implentoitiin syyskuussa. Olettaen että kävijöiden määrässä ei ole taphtunut suuria muutoksia (trendit ovat olleet jokseenkin stabiileja aikaisemmin) Google Analytiikan käyttö on sivuuttanut ylivoimaisesti suurimman osan kävijöistä (~75%).
• 33 (36 edellisellä 4kk kaudella) sisällöntuottajaa ja 183 (217) päivitystä (github)
• docs.csc.fi saavutettavuus oli täydet 100%
  
• CSC:n verkkosivujen käytettävyyttä on selvitetty asiakashaastatteluin. Erityisesti docs.csc.fi sai asiakkailta kiitosta. Haastattelut tarjosivat myös kehitysehdotuksia, joita suuri osa on toteutettu. Esimerkiksi yleisilme on päivitetty vastaamaan nyt CSC-design systemiä, jonka lisäksi sivulle on tehty useita käytettävyysparannuksia.
  
• Sivuston kävijäanalyysin yhteenveto (huom. GA-seuranta kytketty pois päältä elokuun lopulla):

Laskennallisen tutkimuksen asiantuntijatuki servicedeskin kautta

• Servicedeskin kautta käyttäjät saavat tukea CSC:n koneiden ja niille asennettujen tieteellisten ohjelmistojen ja tietokantojen käytössä, laskennallisten menetelmien soveltamisessa ja suurteholaskennan ohjelmointiin ja ohjelmien suorituskykyyn liittyvissä kysymyksissä. Pyynnöt Mahdin isoimman jonon käytöstä käsitellään myös servicedeskin kautta.

Laskennallisen tutkimuksen RT-tuen asiakastyytyväisyys

Tukipyyntöjen määrä on palannut alkuvuodesta normaalille tasolle, tai jopa vähän alle. Kuten yllä mainittu, tämä selittyy osin käyttäjähallinnan automaation kautta.  Asiantuntijatuen käyttäjäkokemus on pysynyt hyvin korkealla tasolla.

		ratkaisuaika [d]
jono(t)	tukipyyntöjä	mediaani	top75%
2020 SR-COMP	7747	1.7	7.7
2021 SR-COMP	9045	1.2	6.9
2021/M1-4 SR-COMP	3202	1.9	10.3
2021/M5-8 SR-COMP	2668	1.0	5.9
2021/M9-12 SR-COMP	3145	1.0	5.7
2022/M1-M4 SR-COMP	4058	0.95	4.9
2022/M5-M8 SR-COMP	2187	0.83	3.1

SR-COMP == customer-accounts, hpcplatforms, notebooks-support, research-support, resource, servicedesk. (nämä asiakastuen "jonot" kattavat suurimman osan laskentaympäristön käytön tukipyynnöistä lähtien tunnusten hankkimisesta ja resurssien hakemisesta käytön ongelmien ratkaisemiseen)

Tikettien määrän kasvu (pitkällä aikavälillä - kesäkuukaudet ovat systemaattisesti hiljaisempia) selittyy suurelta osin erityisesti customer-accounts ja resurssienjako jonojen liikenteen lisääntymisellä, mikä korreloi kasvaneen asiakasmäärän kanssa. Määrän pieneneminen suhteessa kesään 2021 voi johtua paremmasta dokumentaatiosta, resurssienjaon ja käyttäjähallinnan automaatiosta. Keskimääräinen ratkaisuaika on lyhentynyt osin siksi, että reseach support -jonoon, jonka ratkaisuajat ovat keskimäärin pidempiä, on tullut vähemmän tukipyyntöjä.

Tikettien ratkaisuaikojen jakaumassa on pitkä häntä. Osa tiketeistä jää odottamaan asiakkaan vastausta ja se suljetaan, kun sitä ei saada. Joskus jo ratkaistu ja suljettu vanha tiketti avataan uudelleen uuden ongelman ilmetessä (tämä myös hieman nostaa edellisten raporttien ratkaisuaikoja niiden julkaisun jälkeen). Toki joidenkin tikettien ratkaisu myös aidosti kestää pitempään. Toisaalta jonoissa on myös lähinnä "tiedoksi" olevia asioita. Määrä ja ratkaisuaika eivät kovin hyvin kuvaa tehtyä työtä tai saatua palvelua, mutta ratkaisuaikojen mediaani antaa suuntaa ja vähintään trendin. Näytteistämällä tehty tyytyväisyyskysely (pulse) kertoo hyvin korkeasta laadusta.

Tarkastelujakso 1.5.-31.08.2022

Uusien ominaisuuksien kehitys:

• Datan siirto Kansalliskirjastolta
• Automaattinen puheentunnistus toimii Puhdissa

Pääportaali (www.kielipankki.fi)

• Awstats
  • Uniikkeja vierailijoita keskimäärin 4041 kuukaudessa (-8% verrattuna 1.5.-31.8.2021 Google Analytics silloin käytössä)
• Saatavuus 99.984 %

Hakupalvelu Korp (korp.csc.fi)

• Awstats
  • Uniikkeja vierailijoita keskimäärin 1265 kuukaudessa (+31% verrattuna 1.5.-31.8.2021 Google Analytics silloin käytössä)
• Saatavuus: 100 %

Lähteet: Google Analytics (poistuu käytöstä), awstats (uusi tilastotyökalu), CSC:n OpsView

SIIRRETTY MUIDEN KOHTIEN ALLE, EI RAPORTOIDA ERIKSEEN

SIIRRETTY MUIDEN KOHTIEN ALLE, EI RAPORTOIDA ERIKSEEN

Tarkastelujakso 1.5.-31.08.2022

Uusien ominaisuuksien kehitys:

• Uuden julkaisun R5 ulkoisten käyttäjien määrän kasvu, 1200 aktiivisen käyttäjän raja rikki 
• UI parannuksia
• Ops ja kurssien tuki

Tulossa:  

• Itsepalvelumallin vahvistaminen
• MOOC tuki
• Skaalautuminen massiivisille kursseille

Aktiiviset käyttäjät kvartaalettain ja käyttäjäryhmittäin

596

Kuukausittaiset Notebooks-laskentaympäristön käynnistykset

Tarkastelujakso 1.5.-31.8.2022

Paituli:

Tilastot 1.5.-31.8.2022

• Käyttäjiä: 402 (-7% verrattuna 1.5.-31.8.2021)
• Tiedostolatauksia:  1 141 (-18 %)
• API-latauksia: 328 783 (+75 %), uusien aineistojen lisäys
• Saatavuus 99,8 %

Uutta:

• Paituli:
  • Paituli GeoServerin ja front-endin versiopäivitykset.
• Puhti: 
  • GIS-softien päivitys RHEL8:lle käynnistetty
  • Työpaja kaukokartoitusaineistojen käsittelystä Puhtissa
  • Esimerkit STAC (Spatio-Temporal Asset Catalog) käyttöön
• ArcGIS:
  • ArcGIS-konsortion uuden kauden 2023-25 sopimusneuvottelut käynnissä.
  • ArcGIS lisenssipalvelimen päivitys versioon 2022.

Tulossa:

• Paituli: Uusien Maanmittauslaitoksen, Tilastokeskuksen, Väyläviraston sekä Digi- ja väestöviraston aineistojen lisäys.
• Puhti: GIS-softien päivitys RHEL8:lle.
• ArcGIS: uusi sopimus allekirjoitettu.

Tarkastelujakso 1.5.-31.8.2022 (vain osa päivitetty)

• Asiakastunnusten tuen (CAM) tiketit: 1780 tikettiä kaiken kaikkiaan (1.5. - 30.8.2022)
  • Tikettimäärä kasvussa (koko vuoden tikettimäärät 2019: 3402, 2020: 3723 ja 2021: 5232)
  • Tikettimäärä csc.fi-domainin ulkopuolelta 516 kpl (suoria loppukäyttäjätikettejä)
  • Tuessa toteutettu paljon automatisointeja ja itsepalvelutoiminnallisuutta (mm. projektien jatkaminen ja sulkeminen), mikä alkaa näkyä tikettimäärissä
• LUMI-asiakastuki tiketit: 54 kpl
  • CAM-prosessi on uudelleenorganisoinut tikettijonojaan ja niiden käsittelyn automatisointia.
• Tieteellisten resurssien jaon (RJR) hakemukset (1.5. - 31.8.2022):
  • Hakemuksia 782, joista Small-luokan hakemuksia 522
  • Haettujen resurssien määrä 635 700 001 BU, myönnettyjen resurssien määrä 549 700 000 BU
  • RJR:lle on kehitteillä uusi joustavampi ja automatisoidumpi työkalu resurssihakemusten käsittelyyn, jotta RJR-prosessi kykenee paremmin vastaamaan hakemusmäärän kasvuun.

• RJR:n jakamat suomalaiset LUMI-resurssit (1.5. - 31.8.2022)
  
  • Avattu 39 uutta asiakasprojektia (sisältää regular-, development- ja benchmark-projektit), joille myönnetty 53 701 000 core-tuntia, 403 000 GPU-tuntia ja 618 000 TB-tuntia. Samaan aikaan suomalaiset projektit ovat käyttäneet 21 130 149  core-tuntia (n. 15% kaikista käytetyistä).

Tarkastelujakso 1.5.-31.8.2022

Palvelun saatavuus

• AAI-proxy (user-auth.csc.fi), 100% Q3/2022
• External user management (IdM), 94,80% Q3/2022, monitoroinnissa yksi laaja katko ajanjakson aikana
  • Ei todellinen palvelukatko vaan tuotantoympäristön päivityksiin ja varmenteisiin liittyvä virhetilanne, korrektimpi prosentti 98.30%

Käyttäjämäärät

• Aktiiviset käyttäjätunnukset (sis. tekniset tunnukset, koulutustunnukset, admin-tunnukset ja CSC:n henkilökunnan tunnukset) sekä aktiiviset akateemiset laskentaprojektit:

7077

3315

• Muita huomioita
  • Poimintoja tunnuksista tyypeittäin: kansainvälisiä tutkimuskäyttäjiä 275 (ed. kausi 246), kaupallisia käyttäjiä 254 (ed. kausi 217), tutkimuslaitoskäyttäjiä 620 (ed. kausi 571), kansainvälisiä Lumi-käyttäjiä 399 (ed. kausi 295) ja opiskelijatunnuksia 1320 (ed. kausi 1248).
  • Poimintoja projekteista tyypeittäin: kaupallinen käyttö 206 (28 uutta kaupallista projektia vuonna 2022), suomalainen Lumi-käyttö 90 ja kansainvälinen Lumi-käyttö 211 projektia
• Datat poimittu viikkoraportista 2022-08-29

Palvelukohtaiset käyttäjämäärät postilistojen kautta 29.9.2022:

• All-csc-users 6920 (edellinen kausi: 6488)
  
• Compute-server-users 3538 (edellinen kausi: 3471)
• Puhti-users 3402 (edellinen kausi: 3332)
• Mahti-users 1448 (edellinen kausi: 1386)
• Pouta-users 1711 (edellinen kausi: 1739)
• ePouta-users 187 (edellinen kausi: 190)
• Rahti-users 804 (edellinen kausi: 780)
• Allas-users 2553 (edellinen kausi: 2480)

IdM Done & Roadmap

Done

• First version of CSC Level of Assurance (LoA) policy and implementation
• Customer master data work together with CSC Sales and Finance
• Additional Lumi features, for example end-user emails and project lifecycle implementation
• Identity vetting proof of concept

Roadmap

• User account lifecycle renewal (tying lifecycle to Haka login and attribute check)
• Pouta and Allas service quotas
• Education use renewal (student and course project concepts to IdM)
• Additional LUMI features, for example Helmi quantum computing access management

Tarkastelujakso 1.5.-31.8.2022

Palvelun saatavuus

• Rahti (ko. alustalla ajettava MyCSC), Q3/2022 99.98%

Käyttö

• MyCSC_May-August_2022.pdf

MyCSC Done & Roadmap

MyCSC is actively developed in CSC, in an Agile portal development team. Team also develops and supports CSC Design System and CSC Statistics service (Reppu) API.

MyCSC, Done

• Internal product development
  • New container environment to CSC Rahti
  • Updates of internal microservice architecture
• Project closing automatisation
• New management tool for CSC Resource Allocation process
  • Integration of Resource Allocation tool to CSC Statistics database
• New Cookie Consent implementation
• New LUMI functionality
  • Project lifecycle management
  • Resource usage visualisation for LUMI projects in project listing
• Identity Vetting POC: pilot implementation for raising Level of identity assurance
• Access management of DBAAS Service in MyCSC (pilot version for CSC)

MyCSC, Roadmap 2022

• LUMI functionality
  • Currently for example LUMI Helmi quantum machine access, deadline 15.9.2022
• Identity vetting renewal
  • Non-Haka process, optionally Suomi.fi integration, automatic identity vetting solution
• Customer account lifecycle renewal 
• Educational usage of SR services
• Improved Virta database / Research Hub integration
  • Publication information, funding decisions, researcher profile
• Internal refactoring (Vue UI components, progressive web app, central logging)

CSC Design System

• Many new components to component library
• Reduce component library documentation bundle size
• Add husky to prevent committing unlinted code
• Open source publication and internal support for Design System

CSC Statistics API

• Puhti usage
• Rahti usage for previous month