KTPO-sopimuksen liitteen 1 Tietoliikenteen, datanhallinnan ja laskentapalvelujen raportointi, kori 1, raportoidaan kolme kertaa vuodessa.

  • Tarkastelujakson 1.1.-30.4. raportti julkaistaan 15.6.
  • Tarkastelujakson 1.5.-31.8. raportti julkaistaan 15.10.
  • Tarkastelujakson 1.9.-31.12. raportti julkaistaan 15.2.


KTPO-sopimuksen liitteen 2 Korkeakoulujen tietohallinto- ja arkkitehtuuripalveluiden sekä OKM:n analytiikka- ja datainfrastruktuuripalvelujen raportointi, kori 2, on omassa kokonaisuudessaan 

https://wiki.eduuni.fi/x/jw-TGQ


TIETOLIIKENTEEN PALVELUT, FUNET

Yksityiskohtaisemmat Funet-kuukausiraportit: https://wiki.eduuni.fi/x/DYJpAQ (ei julkisesti saatavilla, vaatii kirjautumisen)


Tarkastelujakso 1.9.-31.12.2023

    • Verkon käyttömäärät

    • Ulkomaat ja kotimaa
      • Liikennemäärät ovat tavanomaisia
      • Syyskuussa ja marraskuussa havaittavissa suurten datamäärien siirtoa ulkomailta Kajaaniin (piikit 60 Gbit/s tai yli)
      • Joulukuussa mittauspalvelimessa laitevika, mistä johtuen muutamalta päivä mittausdata puuttuu
    • Verkon ja sen palveluiden laatu/saatavuus
      • Yhteyspalveluiden laatu ja saatavuus säilynyt kokonaisuutena hyvällä tasolla. 
      • 5-6.10 Kuopiossa laitevika, minkä johdosta paikallisilla Funet-yhteyksillä palvelukatko. Kahdennetut yhteydet saatiin palautettua nopeasti.
      • Funet-verkon palvelujen saatavuudet ovat olleet tarkastelujaksolla hyvällä/erinomaisella tasolla:
    • Asiantuntijatukea RT servicedeskin kautta on tarjottu normaalilla tasolla.



Tarkastelujakso 1.9.-31.12.2023

    • Funet-verkon yleinen tietoturvatilanne on ollut tarkastelujaksolla normaali. Funet CERT vastaanotti tavanomaisen määrän haavoittuvuusilmoituksia.


Tarkastelujakso 1.9.-31.12.2023

    • Verkkovierailupalvelu eduroamin käyttömäärä on pysynyt tarkastelujakson aikana Suomessa normaalilla tasolla. Tarkastelujakson aikana ei kuitenkaan syntynyt uusia ennätyksiä tapahtuneiden verkkovierailujen määrissä. 
    • Oheisesta kuvaajasta selviää kuukausittaiset kokonaismäärät suomalaisten eduroam-tunnusten verkkovierailujen määrästä Suomessa, ulkomaalaisten eduroam-tunnusten verkkovierailumäärästä Suomessa sekä suomalaisten eduroam-tunnusten verkkovierailumäärästä ulkomailla.


DATANHALLINNAN PALVELUT

Pitkäaikaissaatavuuden palvelut

Tarkastelujakso 1.9.-31.12.2023

Fairdata-verkoston toiminta

  • Fairdata-verkoston toiminta parantaa yhteistyötä ja tiedonkulkua Fairdata-palveluja (IDA, Qvain, Etsin, Metax, Fairdata PAS) sekä Tiedejatutkimus.fi:n tutkimusaineistotietoja hyödyntävien organisaatioiden ja CSC:n välillä.
    • Tiedonvälitys myös datatukiverkoston ja koulutustoiminnan välillä.
  • Verkoston sähköpostilistalla 139 henkilöä 39 eri organisaatiosta.
  • Fairdata-verkostolle järjestetty tarkastelujakson aikana vuoden kolmas ja neljäs kokous 5.10. ja 7.12. Kokouksissa keskusteltiin palvelujen toimintojen ja prosessien kehittämisestä erityisesti organisaatiorooleihin ja -tarpeisiin painottuen ja kuultiin katsauksia datan hallinnan viitearkkitehtuurityön etenemisestä.

Viestintä

  • Fairdata.fi-sivustolla ja viestipalvelu X:ssä (ent. Twitter) tiedotettu mm. palveluiden kehityksestä, CSC:n tuottamista datanhallinnan ohjevideoista ja ajankohtaisista tapahtumista. Viestipalvelu X:n tilillä on 418 seuraajaa.
  • Fairdata.fi-sivuston julkista muutoslokia päivitetty kaikkien ulospäin näkyvien palvelumuutosten osalta ja palvelujen käyttöoppaat pidetty ajan tasalla.
  • Fairdata.fi-sivustolla uutisoitu IDAn komentorivityökalujen uusista toiminnoista ja tutoriaaleista sekä kyselystä 3D-aineistoista ja niiden pitkäaikaissäilytystarpeista.
  • Aktiivinen osallistuminen CSC- Datatukiverkoston aktiviteetteihin esim. datakahveilla ja chat-keskusteluissa tarjoamassa ajantasaista tietoa Fairdata-palveluista.
  • Osallistuminen Itä-Suomen yliopiston kanssa yhteistyössä järjestettyyn kaksipäiväiseen dataseminaariin, jossa esiteltiin keskustellen CSC:n datanhallinnan palveluita ja paneuduttiin UEF:in datanhallinnan tarpeisiin ja haasteisiin. Lisätietoa tapahtumasta raportin kohdassa "Datanhallinnan palvelut, yhteenvoimivuus ja tuki" otsikon "Tutkimusdatan hallinnan osaamiskeskus" alla.

Asiantuntijatuki Servicedeskin kautta

IDA-, Qvain-, Metax- ja Etsin-palveluihin liittyvät ratkaistut Servicedeskin kautta tulleet tukipyynnöt kuukausittain vuosina 2020 - 2023.

Tarkastelujakson aikana touko-elokuussa palvelujen tikettijonossa on käsitelty yhteensä 136 tukipyyntöä.

Tarkastelujakso 1.9.-31.12.2023

Fairdata-palvelujen kävijämäärät (selainkäyttöliittymät)

Evästeetön web-analyytikka seuraa päivätasolla uniikkeja kävijöitä fairdata.fi-verkkosivustolla sekä IDA-, Etsin- ja Qvain-palvelujen selainkäyttöliittymissä. Kävijöitä kaikissa näissä verkkopalveluissa yhteensä keskimäärin noin 135 uniikkia kävijää päivässä arkisin ja noin 30 päivässä viikonloppuisin syys-joulukuussa vuonna 2023. 


IDA, Etsin, Metax, Qvain - Katsaus tuotantoon

Palveluiden saatavuus

Tarkastelujaksossa palveluiden saatavuus on ollut erinomainen:

  • IDA 99,98%
  • Etsin 99,96%
  • Metax 99,99%
  • Qvain 99,96%
IDA- Tutkimusdatan säilytyspalvelun käyttö

  • Yllä oleva kuvaaja kattaa palvelun käytön vuoden 2015 lopusta vuoden 2023 loppuun

  • IDAa käyttävien projektien määrä on 582 (kasvua 2 % edelliseltä tarkastelujaksolta). Projekteissa on aktiivisia IDA-käyttäjiä 1183 (kasvua 1 % edelliseltä tarkastelujaksolta).
    • 46 % niistä projekteista, jotka ovat tallentaneet dataa IDAan ovat myös julkaisseet sitä (yht. 659 julkaistua aineistoa).
    • 28 projektissa vastuuhenkilön tunnus ei ole aktiivinen ja projektin tilannetta selvitetään. Näillä projekteilla on yht. 35 julkaistua aineistoa.
    • Tarkastelujakson aikana 33 projektia poistui tai poistettiin palvelusta käyttöehtojen mukaisesti. Julkaistujen aineistojen dataa ei poistettu.
  • Palvelussa on dataa on noin 1320 teratavun edestä (kasvua 4 % edelliseltä tarkastelujaksolta).
    • Kaikesta datasta 720 teratavua 54 %) on jäädytetty, ja jäädytetystä datasta 130 teratavua (18 %) on julkaistu Fairdata-palveluissa.
    • Kaikesta datasta 6 teratavua (alle 0,5 %) kuuluu projekteille, joiden vastuuhenkilön CSC-tunnus ei ole aktiivinen.
IDA - Tutkimusdatan säilytyspalvelu - Palvelun käyttö organisaatioittain 12/2023

Tarkastelujakson aikana IDAa käyttävät projektit jakautuvat sektoreittain seuraavasti:


Organisaatioiden lukumääräProjekteja yht.Käyttäjiä yht.Datan määrä yht. (TiB)Julkaistujen aineistojen lkm
Yliopistot1247810291255430
Ammattikorkeakoulut155066724
Valtion tutkimuslaitokset6497953188
Muut organisaatiot (Kotus, OKM)27120,320

Yhteensä

3558411861320662


Etsin - Tutkimusaineistojen hakupalvelu

Aineistojen kokonaislukumäärä ajanjaksolla 2016–2023

Kuvassa esitetty vuosikohtainen arvo on vuoden keskiarvo.

Syyskuun 2022 lopussa tehtiin Helsingin yliopiston toimesta muutos SMEAR -aineistojen julkaisutapaan, missä yksittäisen mitattavan muuttujan julkaisun sijaan julkaistavat aineistot kerätään asemakohtaisesti ja temaattisiksi kokonaisuuksiksi

  • Aineistojen löydettävyyden ja esimerkiksi tieteellisissä julkaisuissa viittaamisen näkökulmasta muutos oli tarpeellinen, vaikka se vaikuttikin voimakkaasti aineistojen määrään Etsin-palvelussa

Uusien aineistojen lukumäärä kuukausittain 2019-2023

Metax-integraatioiden käyttöönotto näkyy uusien aineistojen määrässä:

  • Aalto yliopisto 05/2022
  • EUDAT B2SHARE FMI -instanssi (METIS) 12/2022

Tarkastelujaksolla ei otettu käyttöön uusia Metax-integraatioita


Julkaistujen aineistojen määrät:

  • Uusia aineistoja yhteensä 09-12/2023: 229
    • Kuvailutyökalun avulla: 73
    • Haravoinnin ja APIn kautta: 156

IDA, Etsin, Metax, Qvain - Katsaus kehitykseen

Fairdata-palvelujen yhteiset kehityskohteet
  • Laadunvarmistus:
    • Lokitus parannettu
    • Tietoturvavuosikello otettu käyttöön
    • Tuotantoympäristön versiopäivitysten ja data-migraatioiden testaus
    • Parannettu automaatiotestauksen seurantaa eri palveluissa
    • Koodin laadun staattisten analyysien toimeenpano
    • Kehitystyön automaattisen testauksen prosessien parannus
    • Uuden sisäisen pilvipalvelun käyttö aloitettu
    • Kiristetyn tietoturvan käyttöjärjestelmäkuvien käyttöönotto eri pilvipalveluissa
    • Automaatiopalvelimien uusinta
    • Uusien monitorointityökalujen käyttöönotto
IDA kehitys
  • Monipuolistettu IDAn komentorivityökalujen toiminnallisuuksia ja parannettu niiden salasanakäytäntöjä
  • IDA-yhteyshenkilöiden raporttia MyCSC-portaalissa selkeytetty ja lisätty
    • IDA-yhteyshenkilön mahdollisuus muokata organisaation projektien IDA-säilytystilojen kokoja
    • tieto siitä milloin dataa on IDAssa viimeksi muutettu
    • julkaistun datan osuus kaikesta datasta
  • Valmisteltu tuki uudelle Metax-rajapinnalle
  • Parannetty datan eheyden auditoinnin automaattisia prosesseja (mm. tarkistussumma kaikille tiedostoille)
  • Palvelun sisäisiä työkaluja, automaattisia prosesseja ja laadunvarmistusta parannettu ja ohjelmistokomponentteja päivitetty.
Etsin kehitys
  • Kuvailutietojen pääkäyttäjäroolin käyttöliittymämallien viimeistely käyttöliittymäprotojen ja käyttäjätestauksen tulosten perusteella
  • Uudistettu ulkoasu otettu käyttöön
  • Jatkettu toteutustyötä Metaxin uudistettujen rajapintojen ja ohjelmistokomponenttien hyödyntämiseksi Etsimessä
Qvain kehitys
  • Jatkettu toteutustyötä Metaxin uudistettujen rajapintojen ja ohjelmistokomponenttien hyödyntämiseksi Qvaimessa
Metax kehitys
  • Jatkettu teknistä uudistustyötä uusimpien kehysteknologian ja ohjelmistokomponenttien tarjoamien ratkaisujen hyödyntämiseksi
    • Samalla uudistetaan myös Metaxin tarjoama API-rajapinta
  • Tuettu nykyisiä haravointiasiakkaita siirtymisessä käyttämään Metaxin (uudistettua) API -rajapintaa
  • Tuettu uusia Metax-integraatio -asiakkaita Metax API -rajapinnan käyttöönoton kanssa (ml. testauksen tuki)
  • Otettu käyttöön uusi Metax -integraatio  (Laurea-ammattikorkeakoulu)

Tutkimukseen liittyvien aineistojen digitaalinen pitkäaikaissäilytys (Fairdata PAS-palvelu)

CSC on tarkastelujaksolla edistänyt tutkimukseen liittyvien digitaalisen aineistojen pitkäaikaissäilytystä OKM:n kanssa asetettujen tavoitteiden mukaisesti. Tämä tarkoittaa säilytykseen jo hyväksyttyjen aineistojen vaalimista, uusien käyttöönottojen tukemista sekä hallinnollisesti että teknisesti, sekä toiminnan jatkuvaa kehittämistä vastaamaan paremmin korkeakoulujen ja tutkimuslaitosten aineistojen säilyttämisen tarpeita.

Vuonna 2022 toteutuneita toimenpiteitä ovat esim.:

  • OKM:n säilytyspäätöksien mukaisten aineistojen eheyden, käyttökelpoisuuden ja autenttisuuden vaaliminen
  • Uusien säilytyspäätöksien mukaisesti organisaatioiden tukeminen hallinnollisesti ja teknisesti palvelun käyttöönotossa


  • Uuden paketointityökalun suunnittelu


  • Sensitiivisten aineistojen säilyttämiseen liittyvien kahden kehitysprojektin käynnistäminen yhdessä korkeakoulujen kanssa
  • Säilytyspäätöskohtaisen autorisoinnin suunnittelu


  • Aineistotiedostojen hallintatoimintoja (valmisteluvaiheen tallennuspalveluun liittyen)


  • AVI-tiedostomuototuki



  • Tekstiaineistojen merkistöjen hallinnan parantaminen
  • Bugikorjauksia ja muita pienempiä kehitystöitä

Laajempi PAS-palveluiden vuosiraportti 2021 on saatavilla digitalpreservation.fi-sivustolla.


Datanhallinnan palvelut, yhteentoimivuus ja tuki

Tarkastelujakso 1.9.-31.12.2023

The Elements of FAIR -videosarjan viimeinen osa Reusable on julkaistu: Uusin osa Reusable löytyy youtubesta sekä video.csc-palvelusta. Voit tutustua koko sarjaan video.csc-palvelussa. Videosarja selittää mitä jokainen FAIR-periaate tarkoittaa yksinkertaisesti ja käytännönläheisesti. Videosarja on tekstitetty sekä suomeksi että englanniksi.

1.11.2023 Näkyvyyttä ja vaikuttavuutta tutkimukselle: datajulkaisut - käytännön kokemuksia. CSC RDM Osaamiskeskus, TAU ja HY järjestivät datajulkaisuja käsittelevän virtuaalitapahtuman, jossa kuulimme kolmen tutkijan puheenvuorot heidän kokemuksistaan datajulkaisun valmistelusta ja julkaisuprosessista. 110 osallistujaa, "vastasiko tilaisuus odotuksia ka: 4,3/5. Tilaisuus järjestettiin tutkijoille ja datatukihenkilöille tarkoituksena ymmärtää datajulkaisujen tekoprosessia paremmin. 

2.11.2023 Laatua ja vaikuttavuutta - Miten teet datastasi FAIR -webinaari. Tilaisuudessa käytiin läpi kesällä 2023 julkaistua ohjeistusta: "Laatua ja vaikuttavuutta tutkijan työhön datanhallinnan avulla: Miten teet datastasi FAIR". Ohje on tehty AVOTT:n FAIR-periaatteiden soveltaminen työryhmässä. 87 osallistujaa, vastasiko tilaisuus odotuksia ka: 4,3/5. Tilaisuus järjestettiin tutkijoille ja datatukihenkilöille. 

CSC järjesti kaksipäiväisen Dataseminaarin Itä-Suomen yliopistolle 28.-29.9.2023 UEF:in rehtorin ja CSC:n ylimmän johdon pyynnöstä. Seminaari suunniteltiin yhdessä UEF:in kanssa ja päädyttiin kaksipäiväiseen tilaisuuteen, jossa esiteltiin keskustellen CSC:n datanhallinnan palveluita ja paneuduttiin UEF:in datanhallinnan tarpeisiin ja haasteisiin. Ensimmäisenä päivänä kohdeyleisönä oli UEF datanhallinnan tuki/kirjasto, digipalvelut ja kehittämispalvelut. Toisen päivän keskiössä olivat tutkijat, joiden kanssa keskusteltiin työpajoissa yhdessä UEFin datanhallinnan tuen kanssa. UEF oli valikoinut 25-30 eri osallistujaa per seminaaripäivä.

Research Data Management itseopiskeltavasta kurssista on suunniteltu suomenkielinen versio ja englanninkielistä kurssia on kehitetty kurssipalautteen perusteella. Osallistujia kurssilla on tällä hetkellä 236. 96% palautteenantajista (n=80) suosittelisi kurssia kollegalle.

20.12.2023 Esitys tutkijoille datanhallinnan koulutuksista sekä datanhallinnan verkkokurssista viikottaisen loppukäyttäjätapaamisen yhteydessä, 16 osallistujaa.

Aiemmin järjestettyjen kuvailutyöpajojen perusteella havaitsimme tarpeen organisaatiokohtaisten työpajojen järjestämiseen, jossa tutkijat jakaisivat kokemuksiaan ja hyviä käytäntöjään omien organisaatioidensa tutkijoille ja datatukihenkilöille. Kehitimme konseptin sekä ohjeet järjestäjille, jotta organisaatiokohtaisten työpajojen järjestäminen olisi mahdollisimman vaivatonta. Ensimmäinen organisaatiokohtainen kuvailutyöpaja järjestetään Itä-Suomen yliopistossa helmikuussa 2024.

Osallistumme kansallisen kuvailuohjeistuksen tekoon FinnARMAn Datakoulutukset työryhmän alatyöryhmässä.

Datatukiverkosto

  • Organisaatioita mukana 33
  • Sähköpostilistalla 156 jäsentä
  • Chat-käyttäjiä 82
  • Kuukausittaiset datakahvit, osallistujia 15-30 eri organisaatioista




Tarkastelujakso 1.9.-31.12.2023

  • Yhteistyön suunnittelu Kansalliskirjaston kanssa on jatkunut. Myös Museoviraston kanssa ja arkeologian alalla on keskusteltu tutkimuksen palvelutarpeiden kehittämisestä.
  • Selvitelty ympäristötieteiden infrastruktuurien tilannetta ja CSC:n roolia ja osallistumista.
  • Täsmennetty ala- ja domainkohtaisia datanhallinnan palvelutarpeita SSH ja Life Science loppukäyttäjien kanssa.
  • AVOTT: osallistuttu arkaluonteista tutkimusdataa koskevan DMP-ohjeen laatimiseen ja arkkitehtuurityöhön.
  • Laadittu yhteistyössä korkeakoulujen ja Suomen Akatemian kanssa tutkimusinfrastruktuurien datanhallintapolitiikka-ohjeen uusi versio ja fasilitoitu avoin lausuntokierros. (Finn-ARMA)
  • Tuettu DMP-konsortion työtä DMP-työkalujen kartoittamisessa ja testaamisessa.


Tarkastelujakso 1.9.-31.12.2024

Aineistonhallinnan suunnittelun (DMP) edistäminen

  • DMP-konsortion toimintaa tuettu koordinaattorin työllä.
  • Rakenteisen aineistohallintasuunnitelman (maDMP) edistäminen, tähän liittyvä selvitys- ja verkostoitumistyö yhteentoimivuuden varmistamiseksi.

Yhteentoimivuuden ja toistettavuuden edistäminen

  • Tutkimuksen palveluiden sisäisen arkkitehtuurin hallintamallin ja implementoinnin suunnittelu ja yhteentoimivuuden varmistaminen viiterakkitehtuurien kanssa.
  • Aloitettu elinkaaren hallinnan palveluiden osaamisen ja toiminnan vahvistaminen, ja sen selkeä kytkeminen arkkitehtuurin implementointiin. Tavoitteena on tutkimuksen metatietojen liikkuvuuden ja uudelleenkäytön huomattava parantaminen tutkijalähtöisesti ja yhdessä muiden toimijoiden kanssa.
  • Uuden palvelukatalogin yhteentomivuuden varmistaminen ja tuontatoonviennin valmistelu ja tuki. Koordinaatio Tutkimustietovarannon kanssa.
  • Kansallisen PID-verkoston tapaamisessa 15.12. vaihdettiin osaamista ja tietoja saksalaisen PID-koordinaation kanssa.
  • Kansallinen PID-työryhmä on aloittanut työnsä ja toiminnan suunnittelun. (lisää tietoa: PID-verkosto)
  • Työtä Kansalliskirjaston Ihmistieteiden neuvottelukunnassa, Finto-konsortiossa, Avoimen tieteen ryhmissä ja kansainvälisissä yhteyksissä, lähinnä RDA ja EOSC task forces, sekä DataCite metatietomalli-työryhmässä.

PID-palvelut

  • Seurattu kansainvälistä kehitystä osallistumalla PID-työryhmiin (ePiC, EOSC-A TF PID vocabulary focus group, PIDfest-konferenssin ohjelmakomitea).
  • DataCite Finland -konsortiossa on 6 jäsentä. 
  • PID-mikropalvelua valmisteltu Fairdata-integraatioon. 
  • Selvitelty handle mirrorin pystyttämistä ePiC-konsortion puitteissa. Haemme tässä synergiaetuja muiden hankkeiden ja palveluiden kanssa.


Tarkastelujakso 1.5.-31.8.2022

  •  Sensitive Data (SD) -palveluista SD Desktop ja SD Connect toimivat jo tuotannossa. 
    • Asiakaspalvelu opastanut palvelun käyttöönotossa sekä soveltuvuudessa eri alojen arkaluontoiselle aineistolle. Tutkijat edustuvat mm. kielitieteitä, taloustieteita sekä bio- ja lääketieteitä. 
    • Asiakasorganisaatioiden käyttötapauksia kuunneltu, dokumentaatiota suunnattu kattamaan paremmin kohderyhmien vaatimuksia sekä valmisteltu koulutusta.
    • Loppukäyttäjien määrä kasvaa edelleen tasaisesti .
    • Työ DL2021-ympäristön HPC-laskennan hyödyntämisen mahdollistamiseksi arkaluonteiselle aineistolle jatkunut. Sisäisen pilotin avulla osoitettu toiminnallisuudet aineiston hallinnan osalta.
  • Tuki OKM:n 2-vuotisen esikoulun kokeilun vaikutuksista (https://okm.fi/hanke?tunnus=OKM004:00/2020) jatkunut.
  • Uusien lisäpalveluiden arkkitehtuurin ja palvelumallien (SD Apply, SD Submit) valmistelua on jatkettu.
  • CSC allekirjoitti eurooppalaisen Federated European Genome-phenome Archive (FEGA) -palveluun liittymisestä (linkki uutiseen).
  • FEGA palvelun asiakaspalvelun prosessit sekä uuden tuotantopalvelun asiakkaiden ohjeistus valmisteltiin. Ohjeistusta pilotoidaan THL biopankin kanssa. 
  • Findata säädöksen vaatimukset toteuttavan SD Desktopin osalta valmistauduttu ensimmäisten tutkimusprojektien käynnistämiseen yhteistyössä Findatan kanssa. 


LASKENNAN  PALVELUT

Tieteen ja tutkimuksen palveluiden ylläpito

Tarkastelujakso 1.9.-31.12.2023

 

Käyttäjien lukumäärä

Käyttäjien lukumäärän kasvu per kuukausi vuoteen 2022 verrattuna


Puhdin ja Mahdin käyttäjämäärien kasvu on ollut vakaata. Tarkastelujaksolla kuukausitason kasvu jatkui samaansuuruisena ja Puhdissa oli lokakuussa jopa 45 % enemmän käyttäjiä verrattuna edelliseen vuoteen. Joulukuussa käyttäjämäärät olivat hiukan pienemmät, mutta tammikuusta alkaen määrän odotetaan kasvavan taas entisestään. Vuositasolla käyttäjämäärät ovat kasvaneet entisestään ja Puhdissa oli vuonna 2023 noin 3000 uniikkia käyttäjää. Mahdissa käyttäjiä oli yli 700. 

GPU resurssien (Mahti-AI ja Puhti-AI) käyttäjät hyödyntävät usein myös CPU-resursseja. Toisaalta merkittävä määrä asiakkaita käyttää pelkästään kiihdytettyä laskentaa. Verrattaessa Puhdin ja Mahdin käyttäjämääriä voidaan todeta, että Puhdin isompi käyttäjämäärä on linjassa palvelun luonteen kanssa. Puhdissa suoritetaan enimmäkseen pieniä ja keskisuuria laskuja, toisin kuin Mahdissa, jossa paino on suurilla ja keskisuurilla laskuilla. Pienin Mahdissa käytettävä resurssi on 128 laskentaydintä (yksi laskentasolmu), joka on enemmän kuin monet pieniä laskuja tekevät käyttäjät voivat hyödyntää tehokkaasti.

Puhdin www-käyttöliittymä julkaistiin lokakuussa 2021 ja sen käyttö on jatkanut kasvuaan siten, että sillä on nyt jo noin 600 uniikkia käyttäjää kuukaudessa. Käyttäjien määrä, sekä myös suhteellinen osuus kaikista käyttäjistä, on kasvanut voimakkaasti palvelun olemassa olon aikana. Tarkastelujaksolla noin 50% Puhdin asiakkaista on käyttänyt www-käyttöliittymää. Mahdissa käyttäjiä on ollut noin 100, joka on noin kolmasosa kaikista käyttäjistä. Käyttöliittymän jatkuvasti kehittyvä toiminnallisuus, suurempi tunnettuvuus ja laajempi ohjelmistovalimoima tukee tätä kasvua. Varsinkin opetuspuolella kasvu on ollut voimakasta ja alustaa käytetään sekä CSC:n omilla, että asiakkaiden järjestämillä kursseilla. 




Alla olevassa taulukossa on esitetty tarkat käyttäjämäärät Puhdissa ja Mahdissa. Nämä luvut on esitetty myös yllä olevissa graafeissa.



Uniikit käyttäjät/kk

PuhtiPuhti AIwww.PuhtiPuhti
yhteensä
MahtiMahti AIwww.MahtiMahti
yhteensä
Tammikuu 2022

639

207

89

747

180

57

-

215

Helmikuu 2022

771

274

126

912

200

56

-

228

Maliskuu 2022

840

235

134

961

202

54

-

238

Huhtikuu 2022

787

224

122903

193

50

-

221

Toukokuu 202285522415196320263-236
Kesäkuu 202277823019188819458-234
Heinäkuu 202255617215064414054-179
Elokuu 202269422320079818666-228
Syyskuu 2022

707

23220881819159-231
Lokakuu 202273523726384121260-248
Marraskuu 2022960348353110822056-253
Joulukuu 202277424027888921246-242

Tammikuu 2023

84926734396421471-258
Helmikuu 2023987313403113121779-267
Maaliskuu 202310683154561203274106-325
Huhtikuu 2023934325412106323988-288
Toukokuu 2023987305436110125584-307
Kesäkuu 202394427141610622717331316
Heinäkuu 20237182222928092157125263
Elokuu 202392228338810342488134302

Syyskuu 2023

1045288543116621975126271
Lokakuu 20231095328607121626010375324
Marraskuu 2023118835161713122669599332
Joulukuu 20238522844029912108041270

Uniikit käyttäjät/vuosi

PuhtiPuhti AIwww.PuhtiPuhti
yhteensä
MahtiMahti AIwww.MahtiMahti
yhteensä
2019496218-590----
20201553604-1758192--192
202119796891792210430132-478
2022 23038338832497475179-553
20232998102317833175617288291729

Taulukossa on kuvaatu vuositasolla uniikit käyttäjät. Viivalla (-) on kuvattu vuodet kun palvelu ei ole ollut käytössä. Kursiivilla on merkitty ne lukemat jotka ovat vuodelta jolloin palvelu otettiin käyttöön. Näin ollen lukemat ei kuvaa kokonaista vuotta, ainoastaan osaa.



Laskentapalvelujen käytettävyys ja käyttöaste



KäytettävyysKäyttöaste

Puhti
Puhti AI
Mahti
Mahti AI
PuhtiPuhti AIMahtiMahti AI
Tammiku 2022100,00 %100,00%

69,2 %

76,4 %

73,4 %

59,3 %

Helmikuu 202298,18 %100,00 %

71,3 %

87,7 %

70,5 %

55,2 %

Maaliskuu 2022100,00 %94,93 %

75,3 %

85,6 %

66,9 %

54,1 %

Huhtikuu 202297,93 %100,00 %

61,6 %

72,6 %

65,3 %

47,8 %

Toukokuu 2022

100,00 %

95,70%81,2 %63,0 %50,3 %46,0 %
Kesäkuu 2022100,00 %100,00 %72,7 %64,3 %60,8 %49,7 %
Heinäkuu 202299,79 %100,00 %63,4 %81,2 %55,5 %63,5 %
Elokuu 2022100,00 %94,29 %67,8 %74,5 %67,8 %55,0 %
Syyskuu 202299,88 %99,94 %

58,7%

84,4 %61,1 %60,7 %
Lokakuu 202295,30 %99,82 %41,9%73,8 %

65,8 %

64,0 %
Marraskuu 202298,96 %100,00 %73,6%80,4 %71,3 %70,8 %
Joulukuu 2022100,00 %100,00 %74,6 %78,5 %51,8 %55,9 %

Tammikuu 2023

100,00 %100,00 %62,5 %82,50 %54,40 %52,30 %
Helmikuu 2023100,00 %98,72 %86,4 %82,10 %73,60 %77,50 %
Maaliskuu 202398,68 %100,00 %71,5 %76,50 %81,00 %83,60 %
Huhtikuu 202394,97 %98,34 %51,7 %78,30 %67,60 %87,10 %
Toukokuu 2023100,00 %100,00 %66,5 %86,90 %75,10 %84,70 %
Kesäkuu 2023100,00 %100,00 %73,5 %80,60 %65,90 %81,60 %
Heinäkuu 2023100,00 %100,00 %76,4 %81,80 %65,90 %71,30 %
Elokuu 2023100,00 %100,00 %83,0 %84,20 %89,30 %86,60 %

Syyskuu 2023

99,88 %95,45 %78,2 %75,0 %67,2 %73,1 %
Lokakuu 202395,42 %100,00 %73,0 %69,3 %69,3 %76,9 %
Marraskuu 202399,44 %89,04 %82,2 %79,9 %63,5 %65,9 %
Joulukuu 2023100,00 %100,00 %62,1 %53,2 %64,9 %79,4 %



Käytettävyys vuositasollaKäyttöaste vuositasolla

Puhti
Puhti AI
Mahti
Mahti AI
PuhtiPuhti AIMahtiMahti AI
202099,17 %94,25 %84,96 %77,36 %61,4 %-
202199,27 %98,02 %66,17 %

75,97 %

69,09 %

42,17 %

2022 99,17 %98,72 %67,6 %76,8 %63,3 %56,8 %
202399,03 %98,46 %72,1%77,4%70,8%77,1%



Laskentapalvelimien käyttöaste tarkastelujaksolla on pysynyt hyvällä tasolla. Resurssit ovat hyvässä käytössä, mutta toisaalta asiakkaiden kannalta resurssit ovat ruuhkaisia. Vuositasolla käyttöasteet olivat korkeammat kuin edellisinä vuosina. Laskentapalvelimien vuositason käyttöaste on laskettu teoreettisesta maksimikapasiteetista, eli siihen ei ole huomioitu esimerkiksi huoltokatkoja.


Laiteinvestoinnit

2023 ei ole tehty laiteninvestointeja Puhtiin tai Mahtiin.



Tarkastelujakso 1.9.-31.12.2023

  • Allas-palvelun käyttöaste on pysynyt vakaana datamäärässä mitattuna tarkastelukauden aikana. Erityisesti sensitiivisen datan käytön lisääntyminen on kasvattanut akateemisten projektien määrää. Projekteja oli tarkastelujaksolla 38,7 % enemmän verrattuna vuoteen 2022. Lääke- ja terveystiedealojen projektien lukumäärä on kasvanut 112,1 % verrattuna vuoteen 2022.  

Altaan akateemiseen tutkimukseen käytössä oleva kokonaiskapasiteetti on tarkastelujakson pysynyt 18,9 PiB:ssa.

Altaan saatavuus

Allas on tarkastelujakson aikana ollut saavutettavissa 100%.

Altaan datamäärät ja käyttöaste

Altaassa oli tarkastelujakson alussa 8,98 PiB dataa ja datan määrä on tarkastelujakson aikana kasvanut kokonaisuudessaan 9,71 PiB:en (31.12.)  

Alla olevasta taulukosta näkee datamäärän ja Altaan käyttöaste, tarkastelujakson joka kuukauden ensimmäisenä päivänä. Palvelun käyttöaste on pysynyt tarkastujaksolla vakaana. 

PäivämääräDatamääräKäyttöaste
1.9.20238,7346 %
1.10.20238,9647 %
1.11.20239,2049 %
1.12.2039,5751 %


Altaan käyttäjät

Tarkastelujakson aikana 1182 akateemista projektia käyttivät Allasta.

Sektoreittain Allasta käyttävät projektit jakautuivat seuraavasti:

SektoriProjektien määrä
tarkastelujakson aikana
Kasvu edelliseltä
tarkastelujaksolta
Korkeakoulut ja muut koulutusorganisaatiot104810 %
Tutkimusorganisaatiot1336 %
Julkishallinnon organisaatiot10%
Yhteensä111213,5%


Vuoden 2023 aikana yhteensä 852 akateemista projektia käyttivät Allasta. Tarkastelujakson lopussa (31.12.2023) projektien määrä oli kasvanut 38,7 % vuoteen 2022 verrattuna. 

Tieteenalakohtaisesti projektien määrä jakautuu seuraavasti:

TieteenalatProjektien määrä vuonna 2023Projektien määrä
tarkastelujakson aikana
Kasvu edelliseltä
vuodelta
Maatalous- ja metsätieteet455828,9 %
Tekniikka628333,9 %
Humanistiset tieteet3351

54,4 %

Lääke- ja terveystieteet98208112,1 % 
Luonnontieteet58774126,1 % 
Yhteiskuntatieteet921133,2 %
Muut142042,9 %
Ei tiedossa40-
Yhteensä852118238,6 %

Datamäärän jakautuminen projektien kesken

Alla olevasta kuvasta näkyy ne kymmenen organisaatiota, joiden akateemisilla projekteilla oli eniten dataa Altaassa lokakuun 2023 alussa.

Kun projekti tulee Altaan käyttäjäksi, sille myönnetään 10 TiB tallennustilaa vuodeksi. Lisää tallennustilaa resurssijakoryhmä jakaa lähtökohtaisesti 50 TiB:hen asti automaattisesti, vuodeksi kerrallaan. Alla olevasta kuvasta näkyy että tällä hetkellä 91 % projekteille riittää 10 TiB, 8 % säilyttää yli 10 mutta korkeintaan 50 TiB dataa Altaassa ja ainoastaan 1 % enemmän kuin 50 TiB.


CSC:n tuki Altaan käyttäjille

CSC:n tuki Altaan loppukäyttäjille on järjestetty CSC:n yleisen asiakaspalvelun kautta (servicedesk@csc.fi) ja kysymykset/ongelmat dokumentoidaan CSC:n tikettijärjestelmään. Tarkastelujakson aikana on vastattu 40 yhteydenottoon. Vuoden 2022 aikana vastattiin yhteensä 108 yhteydenottoon.



Laskennallisen tutkimuksen asiantuntijapalvelut

2023

Vuoden 2023 aikana suunniteltiin tulevaisuuden laskenta ja datapalveluita joita CSC tarjoaa (DL2026), ja valmisteltiin seuraavan laitteistosukupolven hankintaa. Näiden lisäksi nykyisten laskentapalveluiden toiminnallisuutta parannettiin seuraavasti:

  • Vuoden aikana tuettiin jatkuvasti Puhdin ja Mahdin käyttöympäristöjä. Nämä ovat raportoitu osana menetelmä- ja tiedealatukea tässä raportissa. 
  • www-käyttöliittymän lisääminen Mahti ja Lumi-supertietokoneille. Mahdin käyttöliittymä avattiin kesäkuussa 2023 ja Lumen käyttöliittymä avattiin marraskuussa 2023.
  • Allas käyttö www-käyttöliittymän kautta on nyt mahdollista Mahdissa, toiminnallisuus tuodaan myös Puhtiin alkuvuoden 2024 aikana.
  • Sensitiivisen datan tukea suurteholaskennan alustoilla kehitetään, fokuksena datan salaus sekä laskennan ja datan riittävä eristäminen.
  • Olemme kehittäneet ratkaisua millä testejä voidaan suorittaa automaattisesti supertietokoneissa gitlab ja github:ista käsin (CI/CD)
  • Parannettun supetietokoneiden kykyä tukea uusia Digital Twin projekteja
  • Ohjelmistojen suorituskyvyn seurannan kehittäminen ja kuormaa aiheuttavien ja alisuoriutuvien töiden identifiointi

2021 - 2026

Nykyiset supertietokoneet palvelevat Suomen tiedettä noin vuosiin 2025 - 2026 asti. Koneiden elinkaaren päättyminen riippuu sekä mahdollisista tehokkuutta nostavista lisäinvestoinnista, että jatkovuosien kustannuksista verrattuna koneiden suhteelliseen laskentakapasiteettiin. On kuitenkin selvää, että vuosien 2025-2026 aikana on tarve uudelle kansalliselle supertietokonekapasiteetille. Vuoden 2023 aikana valmistauduttiin tähän uudistukseen teknologia- ja asiakastarvekartoitusten kautta.

Kuvassa esitetään palveluiden elinkaari. Vihreällä olevat alueet ovat tavallista tuotantoaikaa. Keltaisella merkityt alueet ovat joko rajoitettua käyttöä, tai käyttöä joka vaatisi lisäinvestointeja tai tuen jatkamista. www.Puhti ja www.Mahti viittaa tässä suunniteltuun www-käyttöliittymän käyttöönottoon. Tavoitteena on ylläpitää ja kehittää laskentapalveluiden toiminnallisuutta ja ajanmukaisuutta niiden elinkaaren aikana. 



Tarkastelujakso 1.9.-31.12.2023

 

Koulutus

KTPO-palveluoston kautta tuotettuja pilvipalujen käyttö koulutuksia ei järjestetty tarkastelujakson aikana.


Asiantuntijatuki servicedeskin kautta

Pilvipalveluiden tukipyynnöt sisältävät tukipyynnöt sekä Rahti että cPouta -ympäristöjen käyttäjiltä. Tukipyyntöjen määrässä on marraskuulla  selkeä piikki aikaisempiin vuosiin verrattuna, kohonnut trendi on jatkunut myös joulukuun puolelle. Yksi selittävä tekijä on korkeakouluille lanseerattujen lisäpalvelujen: Student ja Course projekti -julkaisu ja niiden käyttöönottoon liittyvien tukipyyntöjen kasvu. Tämä on hyvä merkki siitä, että uudet käyttäjät ovat löytäneet uuden palvelun pariin. 

Dokumentaatioon panostetaan edelleen ja uudet asiakkaat pyritään ottamaan huomioon dokumentaation tasossa. Eli kun tukipyyntöjä tulee korkeakoulujen opiskelijoilta, niihin vastaaminen tapahtuu eri lähtökohdista kuin tutkijalle vastattaessa. 


Käyttäjämäärät


cPouta

cPouta-ympäristössä on noin 750 aktiivista käyttäjää. Käyttäjämäärät kohosivat hetkellisesti marras-joulukuussa, mutta palasivat normaalitasolle joulukuun loppua kohden mentäessä. Tällä hetkellä cPouta palvelussa on yli 4000 käyttäjää rekisteröityneenä, joilla on tarvittaessa pääsy palveluun. Lisäksi cPouta palvelussa on 125 käyttäjää CSC:stä, jotka käyttävät pilvialustaa KTPO-sopimusoston mukaisten työtehtävien hoitamiseen, tukipyyntöjen ratkaisemiseen ja palvelujen tuottamiseen. Sisäinen käyttö on säilynyt vakaana tarkastelujakson aikana.



ePouta

ePouta-ympäristössä on yli 100 aktiivista käyttäjää. Luku on pysynyt suhteellisen vakaana läpi tarkastelujakson. Tällä hetkellä 220 rekisteröityneellä käyttäjällä on pääsy ePoutaan. Lisäksi ePoudalla on 29 käyttäjää CSC:stä, jotka tuottavat palveluita ePouta-palvelun avulla.

Rahti

Rahti palvelussa on tällä hetkellä 1270 rekisteröityä käyttäjää. Asiakaskunta on lievässä kasvussa edelleen, edellisillä raportointikausille vastaavat luvut ovat olleet 1142, (30.8.2023) 1101 (30.4.2023), 1015 (31.12.2022), 861 (31.8.2022), 770 (30.4.2022) ja 737 (31.12.2021) käyttäjää.




Tarkastelujakso 1.9.-31.12.2023

Ohjelmistokäyttö Puhdilla

Huom. Puhdin moduliseurannassa on ollut katko välillä 3.10. - 4.12.2023, joten kokonaiskäyttö näyttää vähäiseltä.


Miten kuvaajat on laadittu?

CSC:n asentamat eri ohjelmistot laskentapalvelimilla otetaan käyttöön ohjelmistomoduleilla. Yllä olevat kuvaajat on laadittu seuraamalla ja kohdistamalla eräajotöissä käytetty aika kyseiselle ohjelmistolle, palvelimelle ja CPU/GPU:lle käytön mukaan. Koska yhdessä työssä voi olla ladattuna monta modulia, eräajoista modulikohtaisesti laskettu summa voi ylittää todellisuudessa yhteensä käytetyn ajan. Toisaalta, lista kattaa vain CSC:n esiasentamat ohjelmistot (ne joista on moduli). Kuvaajista on poistettu kääntäjien, kirjastojen ja vastaavien työkalujen modulit. Tutkijoiden itse asentamat ohjelmistot eivät näy tässä analyysissa, koska niistä ei ole omaa modulitiedostoa. CPU/GPU-ajan ja laskentayksiköiden vertailu keskenään ei ole suoraviivaista.

Tulkinta

Suurin osa moduuliseurannan alaisesta laskenta-ajasta (CPU) kuluu kourallisella ohjelmistoja.  GPU-aika rajoittuu vielä pienemmälle joukolle, jossa kärjessä AI/ML-käyttö (python-data, pytorch, tensorflow) ja GPU:ta hyödyntävä molekyylidynamiikka (Maestro/Desmond, Gromacs, Amber) ja Scipion (mikroskooppikuvien analyysiohjelma). Käyttäjämääriltään suosituimpia ovat bioinformatiikan ja koneoppimisen/datan käsittelyn työkalut, kemian ja paikkatieto-ohjelmistot. Gromacsin GPU-käyttöä on onnistuneesti siirretty LUMI-G:lle, mikä on erittäin tehokasta sekä kustannus- että saatavuusnäkökulmasta, kun taas esim. Maestro-käyttö onnistuu vain (NVIDIA) DL2021 resursseilla, mikä näkyy ohjelmiston suurena osuutena GPU-kuvaajassa. Kasvava osa AI/ML-käytöstä suoritetaan tutkijoiden itse asentamilla ympäristöillä. Sitä helpottamaan laadittiin tykky-aputyökalu, joka myös keventää levyjärjestelmän kuormaa. Puhdilla eniten käyttäjiä on tilasto- ja biotieteiden, data-analyysin ja koneoppimisen ohjelmistoilla. GPU-datasta puuttuu suurin osa käytöstä, mikä johtuu suurelta osin siitä, että tutkijat ovat käyttäneet tykky-kontitustyökalua luomaan omat ajettavat kontit CSC:n asentamien (ja moduliseurannan piirissä olemisen) sijaan.

Tieteelliset ohjelmistot Puhti-, Mahti ja LUMI-laskentapalvelimilla

  • Docs CSC oppaassa dokumentoituna ja asennettuna Puhtiin 124 (118, suluissa edellisen raportin vastaava luku), Mahtiin 37 (34), LUMI 22 (16), Puhti Web Interface 9, Mahti Web Interface 6
  • Ladattavia eri ohjelmistomoduleja Puhtissa 317 (299), Mahtissa 131 (120), LUMI:ssa 31 (30) sekä näiden eri versiot

    • CSCn asiantuntijat ovat sujuvoittaneet LUMIn käyttöä asentamalla varsinaisen pääjakelukanavan lisäksi (EasyBuild-asennukset) suoraan asiakkaiden käyttöön soveltuvia ohjelmistoja. Tavoitteena käytettävyyden parantaminen ja uuden kapasiteetin käyttöönoton helpottaminen.

Kaikista asennetuista ohjelmistoista ei ole omaa sivua käyttöoppaassa, vaikka niitä onkin asennettu ja ohjelmistomoduli on saatavilla. Tällä pyrimme maksimoimaan hyödyn käytetystä työajasta harvemmin tarvittujen ohjelmistojen aiheuttamasta työmäärästä ja toisaalta korkeatasoisesta asiakaspalvelusta. Ohjelmistovalikoimaa arvioidaan jatkuvasti käytön, uusien ominaisuuksien, kustannusten ja asiakaspyyntöjen perusteella.

Uniikit käyttäjätunnukset lisenssipalvelun kattamista kaupallisista ohjelmistoista

AbaqusAccelrysCOMSOLMATLABSchrödinger
2022 Tammikuu62051272
Helmikuu714824101
Maaliskuu91262399
Huhtikuu1010930103
Toukokuu1022122095
Kesäkuu1313111766
Heinäkuu101582166
Elokuu7151326113
Syyskuu7151531117
Lokakuu923931113
Marraskuu1525333162
Joulukuu1412104072
2023 Tammikuu11-528105
Helmikuu12-832128
Maaliskuu11-230130
Huhtikuu11-934164
Toukokuu13-332163
Kesäkuu12-72993
Heinäkuu10-73055
Elokuu11-52975
Syyskuu10-635152
Lokakuu11-737160
Marraskuu18-940149
Joulukuu15-53669
Tilanteet, joissa käyttäjä on joutunut odottamaan lisenssiä (se ei ole ollut saatavilla)

AbaqusAccelrysCOMSOLMATLABSchrödinger
2022 Tammikuu12002
Helmikuu01000
Maaliskuu03021
Huhtikuu01021
Toukokuu04000
Kesäkuu01000
Heinäkuu00000
Elokuu02000
Syyskuu02000
Lokakuu06000
Marraskuu610001
Joulukuu02100
2023 Tammikuu1-010
Helmikuu1-000
Maaliskuu0-020
Huhtikuu0-000
Toukokuu0-170
Kesäkuu5-342
Heinäkuu2-060
Elokuu8-000
Syyskuu1-000
Lokakuu4-200
Marraskuu6-000
Joulukuu0-00

0

Taulukko kuvaa niitä päiviä, joina tutkija ei ole saanut kaupallisen ohjelmiston suorittamiseen lisenssiä. Lisenssien määrää on pyritty optimoimaan siten, että eri tutkimus on mahdollista tasapainoisesti eri tiedealoilla, mutta kohtuullisella lisenssikustannuksella. Suurempi lisenssi olisi kalliimpi, ja mahdollistaisi käytön milloin vain, mutta kokonaiskustannusten optimoimiseksi olemme ennemmin hankkineet pienemmän määrän lisenssejä useampiin ohjelmistoihin kuin paljon yhteen. Accelrys (Biovia) -lisenssi on ollut säästösyistä alimitoitettu ja sen tarkoitus on ollut mahdollistaa kesken jääneiden tutkimusprojektien saattaminen loppuun. Ohjelmiston poistuminen valikoimasta tehtiin asteittain, jotta tutkijat saavat ajoissa tiedon poistuvasta ohjelmistosta. Korvaava ohjelmisto (Schrödinger) mahdollistaa vastaavanlaiset toiminnot, varsinkin pienmolekyyli- ja lääkeainetutkimuksen puolella. Siinä lisenssi on ollut merkittävästi laajempi, ja se on riittänyt hyvin paljon suuremmasta käyttäjämäärästä ja volyymista huolimatta.

Uniikkien käyttäjätunnusten muutos kuukausittain. Vertailu vuosien 2023 ja 2022 välillä. Positiivinen luku tarkoittaa käyttäjämäärän kasvua, negatiivinen laskua.


AbaqusAccelrysCOMSOLMATLABSchrödinger
2022 Tammikuu-8-22-7-3
Helmikuu-8-103018
Maaliskuu-4-11-2-117
Huhtikuu-1-11810-12
Toukokuu-4261-8
Kesäkuu-3-75-1-16
Heinäkuu-4251611
Elokuu-9-118440
Syyskuu-7-9107-41
Lokakuu0624-41
Marraskuu15-6548
Joulukuu1-3712-8
2023 Tammikuu5-01628
Helmikuu5-0827
Maaliskuu2--4731
Huhtikuu1-0461
Toukokuu3--91268
Kesäkuu2--41227
Heinäkuu0--19-11
Elokuu4--83-38
Syyskuu3--9435
Lokakuu2--2647
Marraskuu3-67-13
Joulukuu1--5-4-3

Uniikkien käyttäjien määrä ja muutos vuositasolla. Vertailu vuosien 2023 ja 2022 välillä. Positiivinen luku tarkoittaa käyttäjämäärän kasvua, negatiivinen laskua.


AbaqusAccelrysCOMSOLMATLABSchrödinger
2022296449141408
202339-37197477
Muutos10--125669

Vuoden 2022 lopussa Biovian (tässä historiallisella nimellä "Accelrys") kemian mallinnusohjelmistolisenssi lakkautettiin, koska suuri osa toiminnallisuuksista on saatavilla muiden ohjelmistojen kautta.


Tarkastelujakso 1.1.-31.12.2023 (whole year)

Summary:

In 2023 we saw again a record number of Chipster users. This is thanks to the fact that we managed to provide up-to-date analysis tools for data from the cutting edge measurement technologies like single-cell RNA-seq and spatially resolved transcriptomics. It is a daunting task to keep up with these fast moving fields, so we have pushed for a European collaboration and now lead the ELIXIR Single-Cell Omics Community. On microbiome data analysis we have a fruitful collaboration with Marja Tiirola, professor of environmental microbiology from the University of Jyväskylä. 

In order to scale up training and user support, we have provided short tutorial videos on Chipster YouTube Channel. This approach seems to be successful: The channel has now over 7300 subscribers, and the 155 videos had over 126 000 views  in 2023. The huge need for training has been tackled also by our eLearning course and by universities which run bioinformatics training courses using Chipster. We have packaged our training materials (lectures, exercises and datasets) so that they are easy to discover and use. 

Users' data sets are growing and new machine learning based analysis methods are getting more resource intensive, so a lot of technical work was dedicated to ensure sufficient memory, duration and storage for the jobs and sufficient yet sustainable storage for the results. In addition to increasing storage space and making backup system faster,  we have improved the system for tracking when user accounts and results can be deleted. We have explored the possibility of using LUMI, and a proof-of-concept Chipster in LUMI-K has now been set up. Given the importance of reproducibility of analysis results, we have improved how the metadata of analysis jobs is shown to users.


Statistics (2022 figures in brackets for comparison):

  • Users 415 (407)
  • Number of jobs 45 900 (41 912)
  • Availability 99.1% (95.8%)
  • Number of user support questions answered 396 (512)
  • Chipster YouTube channel
    • 7 368 subscribers (6 250)
    • 126 374  views (146 300)

Development work in detail:

  • Done 2023
    • Technical
      • Add more storage space and make backup system faster to cope with growing datasets

      • Show users how much data they have in Chipster altogether
      • Collect statistics about the working disk usage of each job
      • Keep better record of when accounts are created and used to be able to delete them later. Delete closed CSC accounts. Admin functionality for deleting closed evaluation accounts
      • Allow single-cell tools to run without large shared volume by using container images
      • Setup proof-of-concept Chipster in LUMI-K
      • Build new deployment system based on Helm and Kustomize, because the obselete tools versions of the previous system were not available anymore
      • Improve displaying information to users
        • Collect and show analysis tool version information. Users need this information when publishing their results in scientific journals, as it is important for the reproducibility of results.
        • Make it easier for user to find which input files were used in each analysis job
        • Show details of multiple selected files.
        • User friendlier data deletion dialog to prevent accidental removal.
      • Update analysis tools and install new ones

      • Update built-in reference genomes and indexes to latest Ensembl release 109. Create tools for customers to download and index rare genomes by themselves. Update also UNITE reference data for Mothur
      • Made it easier for foreign institutes abroad to run their own Chipster servers (Chipster is ELIXIR-FI service)
    • Bioinformatics
      • Tools and video tutorials for analyzing data from new technologies: 
        • Spatially resolved transcriptomics
        • Single-cell RNA-seq
        • Compare Python-based Scanpy framework to the R-based Seurat framework currently in use in terms of time and memory consumption.
      • User support (396 support requests in 2023)
      • Training courses
        • Bulk RNA-seq
        • Single-cell RNA-seq
        • Microbiome data analysis
      • Collaborations
        • ELIXIR Single-Cell Omics Community (lead by CSC)
        • Co-organized international Single-cell omics symposium in Meilahti 26.-27.10.2023 and a related course at CSC 
        • Prof. Marja Tiirola (University of Jyväskylä)
  • Doing
    • Courses: Single-cell RNA-seq
    • Add, update and improve analysis tools for single-cell RNA-seq and spatially resolved transcriptomics
    • User support
    • Integrating Chipster in SDdesktop service to allow analysis of sensitive data

    • Further work with LUMI-K


Tarkastelujakso 1.9.-31.12.2023

  • Users 201 (previously 243 in 1.9.-31.12.2022)
  • Number of jobs 20 152 (previously 13 573 in 1.9.-31.12.2022)
  • Availability 99.8% (previously 99.2% in 1.9.-31.12.2023)



Tarkastelujakso 1.9.-31.12.2023

Elmer-kehityst jatkui vakaana v. 2023. Ohjelmiston ollessa kypsässä iässä, on täysin uusille fysikaalisille malleille vähemmän tarvetta. Iso paino kehityksessä on ollut tehokkuuden parantamisessa ja uusien alustojen mahdollistamisesa. GPU:iden hyöydyntäminen ylipäänsä on FEM-ohjelmisotoille varsin haastavaa, näin myös suurille kaupallisilla ohjemistoilla. Elmerin osalta kehitys aloitettoom A;MGx-kirjaston hyödyntämisen kautta ja syksyllä aloitettiin työ myös matriisin koostamisen viemiseksi GPU:ille, aluksi yksinkertaistetussa tehtävässä. Sovellusalueista jäätiköiden mallinnus ja sähkömagnetiikka jatkavat keihäänkärkinä. Sähkömagnetiikassa avointen mallinnusympäristöjen kiinnostus on nousussa. Tästä merkkinä Elmer kutsuttiin mukaan Free Silicon 2024-konferenssiin Pariisiin. 

  • ChEESE-2P: EU projekti, ”Center of Excellence for Exascale in Solid Earth”
    • CSC:n sovelluksena jäätikkötulvat
    • Työtä tehty mm. koodin optimointi, alustavaa GPU porttausta ja viskoelastisen materiaalimallin kanssa. 
    • Paljon koodin käytänteisiin ja skaalautuvuuteen liittyvää työtä (liittyen flagship-koodien vaatimukseen)
  • HiECSs: Suomen Akatemian CoE “High-Speed Electromechanical Energy Conversion Systems”
    • Elmerin ominaisuuksia esiteltiin projektin puitteissa avoimessa webinaarissa, jossa myös teollisuus laajasti edustettuna. 
    • Yleiskehitystä sähkömagnetiikan alueella mm. korkeamman taajuuden huomiointi AV-ratkaisussa
    • Yhteistyö Aalto ja LUT yliopipstojen osallistuvien laboratorieiden kanssa jatkunut synktronikoneen mallinnuksessa
  • OpenSuperQPlus: EU-projekti kvanttilaskennan edistämiseksi
    • Kehitetty edelleen menetelmiä kapasitanssimatriisin ja S-matriisin laskemiseksi. Mm. adaptiivinen kapasitanssimatriisin laskenta ja automatisoitu S-matriisin laskenta aaltoyhtälöstä.
  • Julkaisuja yms.
    • v. 2023 aikana tuotettiin yhteensä 11 Elmer/Ice aiheista ja muutama julkaisu teknisen laskennan alueelta
  • Useita uusia piirteitä mm.
    • Hydrostaattinen Stokesin yhtälö, joka nopeuttaa jäätiköiden laskentaa niiden soveltuessaan.
    • Adaptiivinen verkotus yleisemmin käyttöön.
  • Yleistä tukea ja bugifiksejä.
  • Gitissä hieman keskimääräistä vähemmän committeja eli 234, alla kukin 4 kk:n jakso v. 2020-2023
    • git log --before yyyy-mm-dd --after yyyy-mm-dd | grep Author | wc -l
      • 2023: 493 (1-4), 199 (5-8), 234 (9-12)
      • 2022: 194 (1-4), 230 (5-8), 282 (9-12)
      • 2021: 246, 174, 278
      • 2020: 338, 220, 285
  • 29,195 youtube-videon katselua elmerfem-kanavalla liukuvu vuosi (+22% ed. vuoteen):
    • 2023/12: 29.2k
    • 2023/8: 28,1k
    • 2023/4: 26,3k
    • 2022/12: 23.9k
       



Tarkastelujakso 1.9.-31.12.2023 (T3 2023)

Laskennallisen tutkimuksen asiantuntijatuki servicedeskin kautta(star)

  • Servicedeskin kautta käyttäjät saavat tukea CSC:n koneiden ja niille asennettujen tieteellisten ohjelmistojen ja tietokantojen käytössä, laskennallisten menetelmien soveltamisessa ja suurteholaskennan ohjelmointiin ja ohjelmien suorituskykyyn liittyvissä kysymyksissä. Pyynnöt Mahdin isoimman jonon käytöstä käsitellään myös servicedeskin kautta.

Vuosittainen tukipyyntöjen määrä on kasvanut noin 10-20% vauhtia, mutta ratkaisuajat ovat pysyneet lyhyinä vaikka asiakkaiden, asiakasorganisaatioiden, -projektien ja käytön määrä on lisääntynyt huomattavasti nopeammin (ks. taulukko alla). Kuten yllä mainittu, tämä selittyy osin käyttäjähallinnan automaation, verkkokäyttöliittymien ja dokumentaation aktiivisen kehittämisen kautta. Asiantuntijatuen käyttäjäkokemuksen tulkitaan pysyneen korkealla tasolla vuoden vaihteen loppukäyttäjäkyselyn ja itse tukipyyntöjen sisältöjen perusteella. Kvantitatiivinen analyysi on tosin vaikeaa, kun ratkaistuista tukipyynnöistä näytteistämällä toteutettu numeroarvionti päättyi työkalun poistumisen vuoksi.

 20202021202220232021 kasvu vs 2020 (%)2022 kasvu vs 2021 (%)2023 kasvu vs 2022 (%)
asiakasorganisaatioita21626741163124 %54 %54 %
voimassa olevia käyttäjätunnuksia3650449674731060223 %66 %42 %
laskentaprojekteja205326694506586930 %69 %30 %
laskentayksikköjä käyttäneitä projekteja152419043271434225 %72 %33 %
miljardia käytettyä laskentayksikköä0.701.142.032.2163 %78 %9 %
Tukipyyntöjä7747904596391117817 %7 %16 %




ratkaisuaika [d]

jono(t)

tukipyyntöjä

mediaani

top75%

2020 SR-COMP (star)

7747

1.7

7.7

2021 SR-COMP (star)90451.26.9
2022 SR-COMP (star)96391.03.9
2023 SR-COMP (star)
11178
0.762.7

2021/M1-4 SR-COMP (star)

3202

1.9

10.3

2021/M5-8 SR-COMP (star)26681.05.9
2021/M9-12 SR-COMP (star) 31451.05.7
2022/M1-M4 SR-COMP (star)40580.954.9
2022/M5-M8 SR-COMP (star)21870.833.1
2022/M9-M12 SR-COMP (star)3201
0.802.8
2023/M1-4 ACF (star)37970.732.3
2023/M5-8 ACF (star)35510.782.5
2023/M9-12 ACF (star)36790.712.6

(star) ACF (ennen 2023 organisaatiouudistusta SR-COMP)   == customer-accounts, hpcplatforms, notebooks-support, research-support, resource, servicedesk. (nämä asiakastuen "jonot" kattavat suurimman osan laskentaympäristön käytön tukipyynnöistä lähtien tunnusten hankkimisesta ja resurssien hakemisesta käytön ongelmien ratkaisemiseen)

Tikettien määrän kasvu selittyy suurelta osin erityisesti customer-accounts ja resurssienjako jonojen liikenteen lisääntymisellä, mikä korreloi kasvaneen asiakasmäärän kanssa. Keskimääräinen ratkaisuaika on pysynyt lyhyenä tai jopa hieman lyhentynyt, vaikka tukipyyntöjen määrä on kasvanut. Tämä johtunee siitä, että dokumentaatiota on parannettu, käytettävyyttä kehitetty, resurssienjakoa ja käyttäjähallintaa automatisoitu eli tukiprosesseja onnistuneesti tehostettu.

Tikettien ratkaisuaikojen jakaumassa on pitkä häntä. Osa tiketeistä jää odottamaan asiakkaan vastausta ja se suljetaan, kun sitä ei saada. Joskus jo ratkaistu ja suljettu vanha tiketti avataan uudelleen uuden ongelman ilmetessä (tämä myös hieman nostaa edellisten raporttien ratkaisuaikoja niiden julkaisun jälkeen). Toki joidenkin tikettien ratkaisu myös aidosti kestää pitempään. Toisaalta jonoissa on myös lähinnä "tiedoksi" olevia asioita. Määrä ja ratkaisuaika eivät täydellisesti kuvaa tehtyä työtä tai saatua palvelua, mutta ratkaisuaikojen mediaani antaa suuntaa ja vähintään trendin. Näytteistämällä tehty tyytyväisyyskysely (pulse) kertoi hyvin korkeasta laadusta siihen asti kun sitä kerättiin. Suora asiakastuki ja käyttödokumentaatio saavat myös järjestelmällisesti kiitosta vuosittain tehdyissä loppukäyttäkyselyissä, mikä kertoo korkeasta laadusta määrän lisäksi.

ServiceDeskin kautta annettavan "normaalin" asiakastuen kautta asiantuntijamme toteuttavat myös laajempia projekteja. Yleensä niihin ryhtyminen edellyttää erillistä rahoitusta, mutta usein pilottihenkisesti ratkotaan tapauksia, joiden odotetaan päätyvän suuremman tutkijajoukon hyödyksi. Viime syksynä esim. AlphaFold2 -ohjelmiston tarjoaminen tehokkaampana (ja vähemmän rinnakkaislevyjärjestelmää kuormittavana) ratkaisuna, ...

Vuodenvaihteen asiakaskyselyn perusteella CSC:n palvelujen yleisarvosana on laskenut 8.9 → 8.7. Tulos on edelleen erinomainen, mutta vuonna 2024 pyrimme nostamaan asiakaskokemuksen paremmalle tasolle. Alustavien analyysien mukaan krittisimmät vastaajat ovat uusia asiakkaita (käyttöhistoria alle vuoden) kun taas pitkään palveluja käyttäneet ovat selvästi tyytyväisempiä. Yksi mahdollinen selitys on palvelujen käytön aloittamisen vaikeus. Asiantuntijapalvelumme ovat tosin juuri tähän panostaneet esim. viikottaisten kahvihetkien kautta, panostaminen itseopiskelumateriaalien kehittämiseen, neljä kertaa vuodessa järjestetty ympäristökurssi (joiden lisäksi kaksi tiedealakohtaista ympäristökurssia) ja useita yliopistovierailuja. Samaan aikaan palvelujen käytettävyyttä on kehitetty, eli katsomme työpanoksemme kohdistuneen tarpeiden mukaisesti. Jatkamme kyselun tulosten analyysia, ja valitsemme niiden perusteella tarkempia kehitystoimenpiteitä.

Käyttöoppaat (docs.csc.fi)

  • Sivustoa käytetään paljon ja positiivista palautetta saamme sekä omilta asiakkailtamme, että muiden laskentakeskusten palvelujen käyttäjiltä.
  • Docs päivitykset: 40 (37 2023T2) sisällöntuottajaa ja 200 (203 2023T2) päivitystä (github)
  • docs.csc.fi saavutettavuus oli täydet 100%
  • CSC:n verkkosivujen käytettävyyttä on selvitetty osana vuoden vaihteen loppukäyttäjätutkimusta. Erityisesti docs.csc.fi sai asiakkailta kiitosta: vapaassa palautteessa sitä kehuttiin hyödyllisenä, helppokäyttöisenä ja keskitettynä tietolähteenä, vaikka osa kertoikin haasteista löytää juuri oikeaa tietoa. Sisällön jatkuvan päivittämisen ja kehittämisen lisäksi, sivuille on tehty myös useita käytettävyysparannuksia. Esimerkiksi kauden aikana kehitettiin ja otettiin käyttöön sivukohtaiset palautelinkit (15 lokakuuta), sähköpostilistojen arkistot tuotiin helposti saataville, sisällöntuottamista sujuvoitettiin pull-request -templaatilla ja kehitysympäristön paikallisen asentamisen ohjeet laadittiin aloittelijaystävällisemmiksi.
  • Sivukohtaista palautetta annettiin 237 thumbs up  ja 68 thumbs down . Negatiivista palautetta saamme erityisesti Intiasta, jonka tulkitsemme johtuvan sekaannuksesta intialaisen CSC:n kanssa (9 thumbs down salasanan vaihtosivulle) joskin toisaalta sama sivu sai myös 52 thumbs up - tulkitsemme että sisältö itsessään on kunnossa. Toiseksi eniten krittiikkiä sai uuden käyttätunnuksen luominen 5 thumbs down (ulkomaapainotteisesti) mutta vastaavasti 12 thumbs up , minkä syyn tulkitsemme olevan vastaava. Näiden jälkeen kritiikki jakaantuu useille eri sivuille, ja niitä priorisoimme jatkokehityksessä. Pääviesti on kuitenkin se, että sisältö koetaan hyödylliseksi.
  • Sivuston kävijätilasto:

 

TulosivukategoriaKäyntejäPoistumisia lukematta muita sivujaKeskimäärin sivulla vietetty aikaSuorien poistumisten suhdeLatausaika keskimäärin
computing9832356 %0:01:3644 %2.03s
support6341068 %0:01:2355 %2.99s
apps5902062 %0:01:1770 %4.15s
data5050250 %0:01:3442 %1.98s
cloud3603058 %0:01:4146 %1.99s
accounts3459748 %0:01:2559 %2.63s
pääsivu2214231 %0:00:4336 %1.53s

Koulutus (suluissa touko-syyskuu)

  • Koulutustapahtumia 18 (11)
  • Kurssipäiviä 50 (48)
  • Osallistujia 994 (455) 
    • 5 (3)  webinaaria/online
    • 13 (5)  luokkahuonekurssia (mukaanlukien hybridit)
    • 2 (3) MOOC
  • Kokonaisarvosana 8.20 (8.60)
  • LUMI GPU hackathoniin osallistui 7 tiimiä. CSC:n asiantuntijoiden lisäksi mentoreita oli HPE:ltä ja AMD:ltä. Tiimit edistyivät hyvin sovellustensa kanssa ja palaute oli erittäin myönteistä. 
  • CSC:n valmentama 6 kandivaiheen opiskelijan (Aalto ja Helsingin yliopisto) Team Norppa sijoittui toiseksi SC23-konferenssin yhteydessä marraskuussa järjestetyssä virtuaalisessa IndySCC-kilpailussa. Mukana oli 15 joukkuetta ympäri maailmaa. Aalto ja HY myönsivät joukkueen jäsenille opintopisteitä valmistautumiseen ja kilpailuun käytetyn ajan perusteella.
  • Yhteistyössä Texas Advanced Computing Centerin (TACC) kanssa järjestettiin OpenMP-koulutus.
  • Tapahtumiin laskettu vain pääosin KTPO-sopimuksen rahoittamat ACF:n koulutustilaisuudet. Näiden lisäksi CSC kouluttaa paljon osana kilpaillun rahoituksen projektien toimintana yhteistyössä kumppaneiden kanssa. Esim. 2023 alkaneen BioExcel CoE:n osana järjestettiin 8 webinaaria ja kolme läsnäkoulutusta, jotka saivat korkeat arvosanat.
  • Edellisen raportoinnin jälkeen 13 kertaa pidetty ja yli sata osallistujaa tavoittanut viikottainen tunnin kahvihetki on yllä laskettu vain yhdeksi tapahtumaksi. Palaute koulutuksista on pysynyt hyvin korkealla tasolla ja henkilökohtainen matalan kynnyksen tuki koetaan arvokkaaksi. Kahvihetkeä on käytetty myös itseopiskelu- ja online-kurssien lähitapaamisiin. Näin varmistetaan uusien käyttäjien koulutuksen skaalautuvuus ja laatu. Myös tapaamisten käyttöä sidosryhmien tukemiseen on pilotoitu.
  • Vuodenvaihteen asiakaskysely kertoo koulutuksen korkeasta laadusta:
    • Yleisesti ottaen kursseihin, niiden järjestelyihin ja sisältöön on oltu tyytyväisiä, joskin pieni osa (<5%) koki kursseilla opetettavat asiat ja niiden soveltamisen hankalaksi. Tähän tarpeeseen olemmekin pyrkineet vastaamaan mm. tarjoamalla viikoittaisia online-tapaamistunteja, joilla käyttäjät voivat saada apua oppimansa soveltamiseen CSC:n palveluiden käytön osalta.
    • Huomattava osa kyselyyn vastanneista preferoi online-opetusta (MOOC-kursseja 53%, hybridikursseja 43%, itsenäisen työskentelyn online-kursseja 45%). On-site kursseja toivoi CSC:n tiloissa järjestettäväksi 23% ja oman organisaation tiloissa 28%.

    • CSC:n online-kurssien järjestelyissä ei ollut lainkaan valittamista, joskin pieni osa (5%) koki online-kurssin aikana työskentelyn epämiellyttävänä. Pääosa järjestetyistä kursseista onkin ollut nimenomaan online-kursseja, jotka ovat Suomen hajautetussa korkeakoulujärjestelmässä sekä kustannustehokkaita että maantieteellisesti tasa-arvoisia. Valikoimassamme on verkkototeutusten lisäksi myös läsnätilaisuuksia, joiden tulkitsemme olevan korvaamattomia opiskelijoiden ja tutkijoiden verkostoitumisen edistämiseksi ja tulevan yhteistyön tukemiseksi.

    • Yllä raportoidun koulutustemme kokonaisarvosanan lasku ei ilmene yleiskyselyssä
  • CSC:n laskentaympäristön itseopiskelumateriaalit ovat tarjolla eLena oppimisympäristössä ilmaisen kirjautumisen kautta tai täysin vapaasti suoraan Githubin kautta. Materiaaleja käytetään ahkerasti:  117 - 239 vierailijaa viikossa, sekä kurssien aikana piikinomaisesti selvästi runsaammin - jopa yli 700 kävijää.  Materiaalia linkitetään myös ahkerasti tukipyyntöjemme vastauksiin, mikä mahdollistaa tehokkaasti niiden ratkaisun kontekstoimisen sekä asiakkaan ymmärryksen ja kompetenssien kasvamisen. Materiaalien pohjalta järjestettiin vuonna 2023 myös neljä ohjattua kolmen aamupäivän koulutusta, jotka kaikki varattiin loppuun.

  • Uutta:
    • Uusina ohjelmistoasennuksina PyTorch 2.1 (Puhti, Mahti, LUMI), TensorFlow 2.14 (Puhti, Mahti) ja päivitetty Python-data (Puhti, Mahti).
    • Ohjelmistojen käyttöohjeistusta kehitettiin luomalla esim. opaste PyTorch-profilointityökalun käyttöön. Aiemmin aloitettu MLflow-työkaluopasteen kehitys viimeisteltiin. 
    • GPU-ohjelmien helppoa siirrettävyyttä tukevan HOP-kirjaston (https://github.com/cschpc/hop) kehitystä jatkettiin. Kirjasto mahdollistaa sekä Nvidian että AMD:n GPU:ita tukevan koodin kirjoittamisen.
    • Kolme tutkimusryhmien kanssa valmisteltua Inno4scale-hanketta sai rahoituksen. Innovatiivisten HPC-sovellusten kehittämisestä tukevat vuoden pituiset hankkeet alkavat helmikuussa 2024.
  • Tulossa:
    • LUMI-käytön aloitusopas
    • Koulutustarjontaportfolion kehitys
    • R-jatkokurssin kehitystyö jatkui, tavoitteena saada kurssi mukaan tarjontaan vuonna 2024.
    • Uuden joukkueen kokoaminen vuoden 2024 Student Cluster Competitioniin.
    • Sponsorin etsiminen kandivaiheen opiskelijoiden osallistumiseen CSC:n HPC-kesäkouluun. Tarkoitus on tarjota hakemusten perusteella muutama osallistumismaksun kattava stipendi edistyneille kandivaiheen opiskelijoille, jotka ovat tyypillisesti aliedustettuja kesäkoulussa.


Muuta

Tarkastelujakson aikana jatkettiin GPU-ohjelmien siirtoa AMD:n ja Nvidian laitteistojen välillä helpottavan HOP-kirjaston kehitystä. Kirjasto tullaan julkaisemaan avoimena lähdekoodina. Lisäksi saatiin läpi kaksi asiakkaiden kanssa yhteistyönä tehtyä hakemusta HPE:n LUMI-porttausohjelmaan.


Tarkastelujakso 1.9.-31.12.2023

Yleisesti
  • Kansalliskirjaston tekijänoikeuksista vapaa data otettu käyttöön Puhti-supertietokoneella (10+TB)
  • Valmistauduttu yhteensovittamaan metadatan siirto Kielipankista Fairdata Metaxin uuteen versioon (v3) kun se julkaistaan
Käyttäjäluvut

Pääportaali (www.kielipankki.fi)

  • Awstats
    • Uniikkeja vierailijoita keskimäärin 6415 kuukaudessa (+37% verrattuna 1.9.-31.12.2022)
    • Koko vuoden keskiarvo 5775 kuukaudessa (+16% verrattuna 2022)
  • Saatavuus 100,000% (koko vuosi 99,971%)

Hakupalvelu Korp (korp.csc.fi)

  • Awstats
    • Uniikkeja vierailijoita keskimäärin 2174 kuukaudessa (+14% verrattuna 1.9.-31.12.2022)
    • Koko vuoden keskiarvo 1912 kuukaudessa (+18% verrattuna 2022)
  • Saatavuus: 100,000% (koko vuosi 99,889%)

Lähteet: awstats, CSC:n OpsView


SIIRRETTY MUIDEN KOHTIEN ALLE, EI RAPORTOIDA ERIKSEEN


SIIRRETTY MUIDEN KOHTIEN ALLE, EI RAPORTOIDA ERIKSEEN


Tarkastelujakso 1.9.-31.12.2023

Uusien ominaisuuksien kehitys:

  • Ulkoisten käyttäjien määrän kasvu, ~ 3000+ aktiivisen käyttäjän raja rikki
  • Skaalautuvuuden parantamiseen liittyvät työt
  • Admin frontend - parannukset

Tulossa:  

  • Skaalautuvuus oppilasmääriltään hyvin suurille kursseille
  • Lisätään työtilaan yhteystietokenttä oppilaiden kysymyksien ohjaukseen ohjaajalle.
  • Tuki MOOC - kursseille
  • Nimi vaihtuu CSC Notebooks → CSC Noppe

Aktiiviset käyttäjät kvartaalettain ja käyttäjäryhmittäin


2021-Q12021-Q22021-Q32021-Q42022-Q12022- Q22022-Q32022-Q42023-Q12023-Q22023-Q32023-Q4
Yliopistot

491

410

331

596

624

594

595

831

718

663

618

776

Ammattikorkeakoulut

121

63

61

92

44

46

47

65

49

39

48

112

Tutkimuslaitokset

50

32

5

9

30

25

4

2

6

8

17

10

Kuukausittaiset CSC Notebooks-laskentaympäristön käynnistykset

Kuukausittaiset aktiivisten käyttäjien määrät CSC Notebooks ympäristössä



Tarkastelujakso 1.9.-31.12.2023

Paituli:

Tilastot 1.1.-31.12.2023

  • Käyttäjiä: 2 810 (+8 % verrattuna 1.1.-31.12.2022)
  • Tiedostolatauksia:  9 129 (-6 %)
  • API-latauksia: 2 064 174 (-74 %, viime syksyna oli harvinainen käyttöpiikki, +58 % verratuna 2021)
  • STAC-API-pyyntöjä: 175 385 (uusi palvelu, ei saatavilla viime vuonna)

Tilastot 1.9.-31.12.2023

  • Käyttäjiä: 1210 (+13 % verrattuna 1.9.-31.12.2022)
  • Tiedostolatauksia:  3281 (-4 %)
  • API-latauksia: 651 042 (-90 %, viime syksynä oli harvinainen käyttöpiikki, +41 % verratuna syksy 2021)
  • STAC-API-pyyntöjä: 98 223 (uusi palvelu, ei saatavilla viime vuonna)
  • Saatavuus 100 %

Uutta:

  • Paituli:
    • Paituli ROPA hyväksytty
    • Uusia aineistoja lisätty: Maanmittauslaitoksen maastotietokannan 2005-2018 versiot GeoPackage formaatissa, Luonnonvarakeskuksen (LUKE) maannostietokanta.
    • STAC rajapintaan lisätty Sentintinel 2 dataa
    • Paitulin vuosiraportti
  • HPC: 
    • Uusia asennuksia: lastools, ArcGIS Python API, Jupyter+SNAP, Sofi3D, Zonation, CloudCompare GPU-accelerated version.
    • Aloitettu isompi selvitys työvuo-työkalujen soveltuvuudesta paikkatietoanalyyseihin
  • Koulutus
    • Geocomputing kurssi ja siihen uudet materiaalit
    • Julkinen Spatial data analysis with R kurssi CSC Noppe palvelussa
    • Uudet käyttöesimerkit: Pythonin Dask/xarray/STAC ja dask-geopandas kirjastoille
  • ArcGIS
    • Lisenssipalvelimen vuosipäivitys
    • ArcGIS: korkeakoulujen ohjestaminen ArcGIS Online SAML integraation tekemiseksi, helpottamaan korkeakoulujen ArcGIS Onlinen käyttäjähallintaa ja ArcGIS Pron käyttöä.
    • ArcGIS vuosiraportti

Tulossa:

  • Paituli: historialliset kartat
  • STAC rajapinnan Paituli aineistojen ja GeoCubesin automaattiset päivitykset.
  • Seminaari: Machine Learning with spatial data
  • Kurssi: Introduction to geospatial Python
  • Uuden Copernicus Data Space Ecosystem palvelun käyttöohjestus CSC:n laskentaympäristön näkökulmasta
  • LUMI ja STAC esitykset Suomen kaukokartoituspäivillä



Tarkastelujakso 1.9.-31.12.2023

  • Asiakastunnusten tuen (CAM) tiketit: 1822 tikettiä kaiken kaikkiaan (edellinen kausi 1619)
    • Tikettimäärä jatkuu suurena (koko vuoden tikettimäärät 2019: 3402, 2020: 3723, 2021: 5232, 2022: 4785 ja 2023: 5110)
    • CAM-prosessi on uudelleenorganisoinut tikettijonojaan ja niiden käsittelyn automatisointia.
    • LUMI-asiakastunnustuessa 266 tikettiä (edellinen kausi 270 tikettiä)
    • Non-Haka asiakastunnusprosessin kautta 251 uutta asiakastunnusta (edellinen kausi 266 tunnusta)
  • Tieteellisten resurssien jaon (RJR) hakemukset:
    • Hakemuksia 979 (edellinen kausi 1123), joista Small-luokan hakemuksia 627 (edellinen kausi 692), Medium-hakemuksia 247 (edellinen kausi 304) ja Large-hakemuksia 48 (edellinen kausi 85)
    • Haettujen resurssien määrä 598 716 223 BU, myönnettyjen resurssien määrä 503 716 400 BU
    • RJR:lle on kehitetty uusi joustavampi ja automatisoidumpi työkalu resurssihakemusten käsittelyyn, jotta RJR-prosessi kykenee paremmin vastaamaan hakemusmäärän kasvuun. Tilastonumerot tulevat jatkossa suoraan ko. työkalun automaatioista.


Kuvaajissa tikettimäärien kehitys (2021-2023).

Kuvaajat: resurssienjakoryhmän hakemus- ja myöntömäärät 2019-2023.


Tarkastelujakso 1.9.-31.12.2023

Palvelun saatavuus

  • AAI-proxy (user-auth.csc.fi), 100% 2023
  • External user management (IdM), 99,91% 2023

Käyttäjämäärät

  • Aktiiviset käyttäjätunnukset (sis. tekniset tunnukset, koulutustunnukset, admin-tunnukset ja CSC:n henkilökunnan tunnukset) sekä aktiiviset akateemiset laskentaprojektit:

Kausi

Tunnukset

Projektit

1/202157222614
2/202162282944
3/202167023160
1/202269103345
2/2022
7077
3315
3/2022
8302
3482
1/202386633748
2/2023
9426
3944
3/2023107544301
  • Muita huomioita
    • Poimintoja tunnuksista tyypeittäin: kansainvälisiä tutkimuskäyttäjiä 481 (ed. kausi 499), kaupallisia käyttäjiä 364 (ed. kausi 353), tutkimuslaitoskäyttäjiä 700 (ed. kausi 668), kansainvälisiä Lumi-käyttäjiä 1923 (ed. kausi 1493) ja opiskelijatunnuksia 2167 (ed. kausi 1534).
    • Poimintoja projekteista tyypeittäin: kaupallinen käyttö 235 (ed. kausi 228), suomalainen Lumi-käyttö 283 (ed. kausi 238) ja kansainvälinen Lumi-käyttö 647 (ed. kausi 511) projektia
    • Käyttäjätunnusten määrä kasvaa voimakkaasti opiskelijatunnuksissa, johon on syynä CSC:n tunnuspolitiikoissa tehty muutos, jossa kurssikäyttäjille ei enää tehdä ns. yhteiskäyttöisiä tunnuksia, vaan kaikki kirjautuvat palveluihin omilla henkilökohtaisilla tunnuksilla. Samoin Lumi-käyttäjien määrä on voimakkaassa kasvussa,
  • Datat poimittu viikkoraportista 2024-01-01

Palvelukohtaiset käyttäjämäärät postilistojen kautta, tammikuu 2024:

  • All-csc-users 10703 (edellinen kausi: 9282)
  • Compute-server-users 4708 (edellinen kausi: 4556)
  • Puhti-users 4558 (edellinen kausi: 4392)
  • Mahti-users 2158 (edellinen kausi: 1924)
  • Pouta-users 2091 (edellinen kausi: 1768)
  • ePouta-users 215 (edellinen kausi: 199)
  • Rahti-users 1035 (edellinen kausi: 920)
  • Allas-users 3632 (edellinen kausi: 3309)

IdM Done & Roadmap

  • Done:
    • Identity vetting implementation
    • Implement Student projects
    • Implement functionality for additional roles, such as: FUNET, vice PI and customer organisation admin
  • Ongoing:
    • LoA policy implementation (depends on identity vetting implementation)
    • Policies to handle academic projects with 0 or minus quota
    • Quota notifications (e.g. when project runs out of quota)
    • Plan and implement improvements Non-Haka accounts lifecycle process
    • Plan and implement service quotas for cloud and other services
  • Roadmap:
    • Assess Digi-ID integration options
    • Assess Suomi.fi integration or bank identification
    • Non-Haka user registration process, additional development
    • Implement Self-service account re-activation
    • Prototype for the improved key-based authentication to computing services



Tarkastelujakso 1.9.-31.12.2023

Palvelun saatavuus

  • Rahti (ko. alustalla ajettava MyCSC), Q4/2023 99,96%

Käyttö

  • https://my.csc.fi/reports
  • These reports show quite stabilised usage for key MyCSC functionalities (for example, new CSC resource application)

MyCSC Done & Roadmap

MyCSC is actively developed in CSC, in an Agile portal development team. Team also develops and supports CSC Design System and CSC Statistics service (Reppu) API.

MyCSC, Done

  • Course project, additional features
  • Student project implementation
  • Improve project keyword saving and implemented a project keyword analysis
  • Display project content overview in organization report view
  • Student project implementation
  • Allow IDA contact person to adjust project's IDA quota directly from admin view
  • Show warning in organization report project view if a project is about to run out of BUs
  • Level of assurance: Identity vetting process released
  • Use new version of CSC Design System components in My CSC
  • Show service specific billing unit consumption in project content overview

MyCSC, Roadmap H1/2024

  • Identity vetting renewal
    • Renewal of Non-Haka process to use vetting solution
  • Organisational administrative roles, first implementation
    • Services for the University administrative use
  • CSC billing unit renewal
    • Service-based capacity views
  • Improved Virta database / Research Hub integration
    • Grant information integration to CSC resource applications















  • No labels