KTPO-sopimuksen laaturaportointi vuonna 2024, kori 1

Tarkastelujakso 1.9.-31.12.2024

• • Verkon käyttömäärät (NORDUnet ja FICIX/TREX)

• • Ulkomaat ja kotimaa
  • • Liikennemäärät ovat tavanomaisia
  • Verkon ja sen palveluiden laatu/saatavuus
  •  
    • Yhteyspalveluiden laatu ja saatavuus säilynyt kokonaisuutena hyvällä tasolla. 
    • 18.11.2024 - 28.11.2024 Cinian C-Lion-yhteys Helsinki-Hampuri oli poikki
    • 25.12.2024 - 6.1.2025 Cinian C-Lion-yhteys Helsinki-Hampuri oli uudelleen poikki
    • C-Lion-yhteydet katkot eivät aiheuttaneet merkittävää haittaa Funet-verkon yhteyksille. Liikenne kulki Keski-Eurooppaan muita reittejä Nordunetin kautta

• • Asiantuntijatukea RT servicedeskin kautta on tarjottu normaalilla tasolla.
    

Tarkastelujakso 1.9.-31.12.2024

• • Funet-verkon yleinen tietoturvatilanne on ollut tarkastelujaksolla normaali. Funet CERT vastaanotti tavanomaisen määrän haavoittuvuusilmoituksia.
    

Tarkastelujakso 1.9.-31.12.2024

• • Verkkovierailupalvelu eduroamin käyttömäärät kasvoivat tarkastelujakson aikana verrattuna vastaavaan ajankohtaan vuonna 2023. Tarkastelujakson aikana syys-joulukuussa 2024 suomalaisilla eduroam-tunnuksilla verkkovierailtiin hyvin ahkerasti. Syys-, loka- ja marraskuussa 2024 kuukausittaisten eduroam-verkkovierailujen kokonaismäärässä ylitettiin jälleen 5,5 miljoonan kuukausittaisen verkkovierailun raja. Koko vuoden 2024 yhteenlaskettujen eduroam-verkkovierailujen lukumäärä oli yli 50 miljoonaa, joka on vuositasolla kaikkien aikojen ennätys. 
  • Oheisesta kuvaajasta selviää kuukausittaiset kokonaismäärät suomalaisten eduroam-tunnusten verkkovierailujen määrästä Suomessa, ulkomaalaisten eduroam-tunnusten verkkovierailumäärästä Suomessa sekä suomalaisten eduroam-tunnusten verkkovierailumäärästä ulkomailla.
  • 

Tarkastelujakso 1.9.-31.12.2024

Fairdata-verkoston toiminta

• Fairdata-verkoston toiminta parantaa yhteistyötä ja tiedonkulkua Fairdata-palveluja (IDA, Qvain, Etsin, Metax, Fairdata PAS) sekä Tiedejatutkimus.fi:n tutkimusaineistotietoja hyödyntävien organisaatioiden ja CSC:n välillä.
  
  • Tiedonvälitys myös datatukiverkoston ja koulutustoiminnan välillä.
• Verkoston sähköpostilistalla 138 henkilöä 39 eri organisaatiosta.
• Fairdata-verkostolle järjestetty tarkastelujakson aikana vuoden kolmas ja neljäs kokous. Kokouksissa aiheina Metax-rajapintauudistuksen editystyminen, kuulumiset kansainvälisestä pitkäaikaissäilyttämisen iPRES 2024 -konferenssista, hiilijalanjäljen laskentamalli palvelujen kestävän kehityksen tueksi, palvelujen viestinnän ja markkinoinnin tueksi tuotetut materiaalit, DAHA-viitearkkitehtuurityön edistyminen. Lisäksi esiteltiin etukäteistietoa vuonna 2025 CSC:n ja tutkimusorganisaatioiden kanssa yhteistyössä toteutettavaa projektia, jonka tavoitteena on tarkastella miten DAHA-viitearkkitehtuurityössä tunnistettuja datanhallinnan prosesseja toteutetaan korkeakouluissa ja tutkimuslaitoksissa, ja miten Fairdata-palvelut voivat vastata näihin tarpeisiin.
  

Viestintä

• Fairdata.fi-sivustolla ja viestipalvelu X:ssä (ent. Twitter) tiedotettu mm. Fairdata-verkoston kokouksesta ja ajankohtaisista tapahtumista. Viestipalvelu X:n tilillä on 385 seuraajaa.
• Fairdata.fi-sivuston julkista muutoslokia päivitetty kaikkien ulospäin näkyvien palvelumuutosten osalta ja palvelujen käyttöoppaat pidetty ajan tasalla.
• Fairdata.fi-sivustolla uutisoitu Avoimen tieteen ja tutkimuksen (AVOTT) koordinaation piirissä on julkaistusta tutkimusaineistojen kuvailuohjeesta, jonka kirjoittamiseen Fairdata-palvelut osallistuivat, sekä Qvain-työkalun uudesta esittelyvideosta
  
• Aktiivinen osallistuminen CSC- Datatukiverkoston aktiviteetteihin esim. datakahveilla ja chat-keskusteluissa tarjoamassa ajantasaista tietoa Fairdata-palveluista.

Asiantuntijatuki Servicedeskin kautta

IDA-, Qvain-, Metax- ja Etsin-palveluihin liittyvät ratkaistut Servicedeskin kautta tulleet tukipyynnöt kuukausittain vuodesta 2020 vuoden 2024 loppuun.

Tarkastelujakson aikana syys-joulukuussa palvelujen tikettijonossa on käsitelty yhteensä 187 tukipyyntöä.

Tarkastelujakso 1.9.-31.12.2024

Fairdata-palvelujen uniikit kävijämäärät (selainkäyttöliittymät)

Uniikkeja kävijöitä yhteensä keskimäärin n. 6200 per kuukausi syys-joulukuussa 2024.

Evästeetön anonyymi webanalyytikka seuraa päivätasolla uniikkeja kävijöitä fairdata.fi-verkkosivustolla sekä IDA-, Etsin- ja Qvain-palvelujen selainkäyttöliittymissä. 

IDA, Etsin, Metax, Qvain - Katsaus tuotantoon

Palveluiden saatavuus

Tarkastelujaksossa palveluiden saatavuus on ollut suurimmaksi osaksi erinomainen. IDAn saatavuutta laski IDAn palvelimen RAID-ohjaimen vikaantumisesta johtunut pidempi katko joulukuussa. Huolto korjasi vian sen havaitsemisesta seuraavana päivänä normaalin prosessin mukaisesti ja katkosta tiedotettiin käyttäjiä. Saatavuusprosentit:

• IDA 97,78%.
• Etsin 99,67%
• Metax 99,88%
• Qvain 99,67%

IDA- Tutkimusdatan säilytyspalvelun käyttö

Yllä oleva kuvaaja kattaa palvelun käytön vuoden 2015 lopusta vuoden 2024 joulukuun loppuun

• IDAa käyttävien projektien määrä on 637 (kasvua 3 % edelliseltä tarkastelujaksolta). Projekteissa on aktiivisia IDA-käyttäjiä 1423 (kasvua 12% edelliseltä tarkastelujaksolta).
  • 62% niistä projekteista, jotka ovat tallentaneet dataa IDAan ovat myös julkaisseet sitä (yht. 922 julkaistua aineistoa).
  • 22 projektissa vastuuhenkilön tunnus ei ole aktiivinen ja projektin tilannetta selvitetään. Näillä projekteilla on yht. 34 julkaistua aineistoa.
  • Tarkastelujakson aikana 8 projektia poistui tai poistettiin palvelusta käyttöehtojen mukaisesti. Näillä projekteilla ei ollut julkaistuja aineistoja.
• Palvelussa on dataa on noin 1317 teratavun edestä (vähentynyt 1% edelliseltä tarkastelujaksolta).
  
  • Kaikesta datasta 752 teratavua (57%) on jäädytetty, ja jäädytetystä datasta 190 teratavua (25%) on julkaistu Fairdata-palveluissa.
  • Kaikesta datasta 21 teratavua (1,6%) kuuluu projekteille, joiden vastuuhenkilön CSC-tunnus ei ole aktiivinen.

IDA - Tutkimusdatan säilytyspalvelu - Palvelun käyttö organisaatioittain 12/2024

Tarkastelujakson aikana IDAa käyttävät projektit jakautuvat sektoreittain seuraavasti:

Etsin - Tutkimusaineistojen hakupalvelu

Aineistojen kokonaislukumäärä ajanjaksolla 2016–08/2024

Kuvassa esitetty vuosikohtainen arvo on vuoden keskiarvo.

Syyskuun 2022 lopussa tehtiin Helsingin yliopiston toimesta muutos SMEAR -aineistojen julkaisutapaan, missä yksittäisen mitattavan muuttujan julkaisun sijaan julkaistavat aineistot kerätään asemakohtaisesti ja temaattisiksi kokonaisuuksiksi

• Aineistojen löydettävyyden ja esimerkiksi tieteellisissä julkaisuissa viittaamisen näkökulmasta muutos oli tarpeellinen, vaikka se vaikuttikin voimakkaasti aineistojen määrään Etsin-palvelussa

Uusien aineistojen lukumäärä kuukausittain 2019-2024

Metax-integraatioiden käyttöönotto näkyy uusien aineistojen määrässä:

• Aalto yliopisto 05/2022
• EUDAT B2SHARE FMI -instanssi (METIS) 12/2022
• Tampereen yliopisto 06/2024

Tarkastelujaksolla ei uusia Metax-integraatioiden käyttöönottoja

Julkaistujen aineistojen määrät:

• Uusia aineistoja yhteensä 09-12/2024:
  
  • Kuvailutyökalun avulla: 116
  • Haravoinnin ja APIn kautta:170
• Koko vuonna uusia aineistoja: 1438 (21% kaikista aineistoista)

IDA, Etsin, Metax, Qvain - Katsaus kehitykseen

Fairdata-palvelujen yhteiset kehityskohteet

• Laadunvarmistus:
  • Fairdata IDA palvelun infrastruktuurin migraatio
    
  • Keskitetyn lokienhallinnan palvelun käyttöönotto
  • Monitoroinnin ja metriikoiden laajennus ja päivitys
  • Luotu kehitystyössä käytettävän automaation kontrolloiminen kehitysprosessin tueksi
    
  • Zero-trust -suojausarkkitehtuurin käyttöönottoprosessin aloittaminen
  • Keskitetty käyttäjänhallinta tuotantopalvelimille
  • Ohjelmaversioiden auditointityökalun (fairdata-insights) automaatio
  • Monikerroksisen suojauksen vahvistaminen

IDA kehitys

• Palvelun fyysinen ja virtualisoitu palvelin- ja tallennusinfrastruktuuri päivitetty.
• Suoritettu tallenusinfrastruktuurin päivitykseen liittyvä asiakkaiden datan migraatio ja datan eheyden varmistus.
• Siirrytty RHEL9-käyttöjärjestelmään.
• Valmisteltu siirtymistä IDAn taustalla olevan Nextcloud-ohjelmiston uuteen versioon, sisältäen palvelun graafisen käyttöliittymän päivityksen.
• IDA-yhteyshenkilöiden MyCSC-näkymään lisätty mahdollisuus nähdä käyttäjän kuvaus käsiteltävistä henkilötiedoista.
• Palvelun sisäisiä työkaluja, automaattisia prosesseja ja laadunvarmistusta parannettu ja ohjelmistokomponentteja päivitetty.

Etsin kehitys

• Jatkettu toteutustyötä Metaxin uudistettujen rajapintojen ja ohjelmistokomponenttien hyödyntämiseksi Etsimessä, sekä valmistauduttu 2025 alkuvuoden käyttöönottoon (testaukset, käyttöönoton suunnittelu)
• Toteutettu pieniä käyttöliittymäparannuksia aineistojen metatietojen näyttämiseen liittyen

Qvain kehitys

• Jatkettu toteutustyötä Metaxin uudistettujen rajapintojen ja ohjelmistokomponenttien hyödyntämiseksi Qvaimessa, sekä valmistauduttu 2025 alkuvuoden käyttöönottoon (testaukset, käyttöönoton suunnittelu)
• Toteutettu pieniä toiminnallisuusparannuksia olemassaoleviin toimintoihin
• Suunniteltu ja toteutettu Qvaimen esittelyvideo yhdessä DMO:n kanssa

Metax kehitys

• Jatkettu uudistustyötä uusimpien kehysteknologian ja ohjelmistokomponenttien tarjoamien ratkaisujen hyödyntämiseksi
  • Teknisen kehitystyön viimeistely myös loppukäyttäjärajapinnan osalta
  • Testaaminen ja käyttöönoton suunnittelu
• Jatkettu nykyisten haravointiasiakkaiden tukemista siirtymisessä käyttämään Metaxin (uudistettua) API -rajapintaa
  • Erityisesti testauksen tuki sekä käyttöönottojen aikataulutus
• Tuettu uusia Metax-integraatio -asiakkaita Metax API -rajapinnan käyttöönoton kanssa
  
  • Erityisesti tietomallien yhteensovittamisen tuki sekä sanomamallit

Tutkimukseen liittyvien aineistojen digitaalinen pitkäaikaissäilytys (Fairdata PAS-palvelu)

CSC on tarkastelujaksolla edistänyt tutkimukseen liittyvien digitaalisen aineistojen pitkäaikaissäilytystä OKM:n kanssa asetettujen tavoitteiden mukaisesti. Tämä tarkoittaa säilytykseen jo hyväksyttyjen aineistojen vaalimista, uusien käyttöönottojen tukemista sekä hallinnollisesti että teknisesti, sekä toiminnan jatkuvaa kehittämistä vastaamaan paremmin korkeakoulujen ja tutkimuslaitosten aineistojen säilyttämisen tarpeita.

Syksyllä 2024 toteutuneita toimenpiteitä ovat esim.:

• Paketointipalvelun uudistaminen Metax v3 rajapintaintegraatiota huomioiden
• Tiedostomuotojen validointiin ja tunnistamiseen tarvittavien työkalujen kehitystä
• Paketointiprosessin taustaominasuuksien kehittäminen

Laajempi PAS-palveluiden laaturaportti 2023 on saatavilla digitalpreservation.fi-sivustolla.

Tarkastelujakso 1.9.-31.12.2024

2024-09-10 Käytännön aineistonhallintaa pitkittäistutkimuksessa, ilmoittautuneita 124, ka: 3,8/5. Virtuaalitapahtuma käytännön tutkimusdatan hallinnasta ja dokumentoinnista pitkäaikaisissa tutkimusprojekteissa. Kuulimme kaksi puheenvuoroa aineistonhallinnan käytännöistä pitkittäistutkimuksissa ja mitä datanhallinnassa on pitänyt ottaa huomioon työkalujen muuttuessa ja datan kumuloituessa. 

2024-09-25 Miten valita palvelu datan jakamiseen ja julkaisuun? (tilaisuus järjestetty yhdessä FinnARMAn Datakoulutus-ryhmän kanssa), ilmoittautuneita 136 ka: 4,3/5. Tässä webinaarissa pyrimme löytämään vastauksia mm. seuraaviin kysymyksiin:

• Mitä eri datarepositorioita on ja miten ne eroavat toisistaan?
  Mitä vähintään kannattaa ottaa huomioon datarepositorion valinnassa?
  Mitkä ovat tärkeimpiä arviointikriteereitä palvelun valintaan tutkijan ja mitkä organisaation kannalta?

2024-10-09 How to choose a service for data sharing and publishing? (tilaisuus järjestetty yhdessä FinnARMAn Datakoulutus-ryhmän kanssa), ilmoittautuneita 74, ka: 4,0/5. There are many different services for sharing and publishing data, often called data repositories. How do I know what would be a reliable and appropriate service for a particular purpose and type of data?

2024-11-26 Licensing Data and Code – Key Steps Towards Reusability Workshop, ilmoittautuneita 79, ka: 4,3/5. "Unlock the full potential of your research and learn about the key components of successful data and software licensing. Through a combination of instructions, practical examples, and interactive sessions, you will gain the skills needed to license your work effectively."

2024-11-28 Ohje tutkimusaineistojen kuvailuun -webinaari, ilmoittautuneita 104, ka 4,2/5. Tilaisuus liittyen: AVOTT Avoimen tieteen ja tutkimuksen koordinaatio. (2024). Ohje tutkimusaineiston kuvailuun. Zenodo. https://doi.org/10.5281/zenodo.13847137

Fairdata Qvain -tutoriaalivideot

• Englanniksi: https://youtu.be/PiAwsKUAlNc, https://video.csc.fi/media/t/0_hvr8svhq

• Suomeksi https://youtu.be/4obqhF-KePU, https://video.csc.fi/media/t/0_0yy1y4xm

Suomenkielisellä Tutkimusdatanhallinta-kurssilla osallistujia tällä hetkellä 212. 

Englanninkielisellä Research Data Management kurssilla osallistujia tällä hetkellä 417.

CSC Tutkimusdatanhallinnan osaamiskeskus on Skills4EOSC Competence Center -verkoston jäsen. Lisäksi valmistelemme hakemusta Competence Centerin osalta toimia EU EOSC Node -resurssina.

• Olemme valmistelleet yhdessä TAU:n kanssa pilottikurssia tutkinto-opiskelijoille tutkimusdatanhallinnasta ja avoimesta tieteestä osana Skills4EOSC-projektia. Suomenkielinen kurssi on pilotoitu TAU:n opiskelijoille.
  

CSC Tutkimusdatanhallinnan osaamiskeskus on mukana suunnittelemassa ja kouluttamassa Tutkimusdatanhallinnan opintokokonaisuutta (15 op) datanhallinnan ammattilaisille, josta TAU vastaa. Olemme mukana myös neuvottelukunnan jäsenenä.

Datatukiverkosto

• Organisaatioita mukana 34
• Sähköpostilistalla 179 jäsentä
• Chat-käyttäjiä 80
• Kuukausittaiset datakahvit, osallistujia 15-30 eri organisaatioista

Suunnitteilla alkuvuodelle 2025: 

2025-01-16 Data- ja TKI-tuki -työpaja: Tutkijoiden osallistaminen ja kontaktointi

2025-03-10 Allas-säilytyspalvelun käyttö

2025-03-18 Fairdata-palvelut tutkimusdatalle: Hyödynnä, hallitse, julkaise!

Licensing Data and Code – Key Steps Towards Reusability työpajan materiaalien julkaiseminen kouluttajien hyödynnettäväksi.

Tarkastelujakso 1.9.-31.12.2024

• Tuettu tutkimuslaitoksia yhteistyömahdolliuuksien löytämisessä tutkimusdatanhallinnan osalta
• Jatkettu kansallista yhteistyötä SSH alojen datanhallinnan tukemisessa, erityisesti arkeologian monimuotoisen datan osalta
• Kansallisten toimijoiden tukeminen datapolitiikka- ja arkkitehtuurityössä erityisesti yhteentoimivuuden ja elinkaarienhallinnan parantamiseksi

Tarkastelujakso 1.9.-31.12.2024

• Viimeistelty sisältöjä ja testattu avoimen datan rajapintaa, jonka kautta voidaan jakaa palvelutietoja FAIR-formaatissa https://data.csc.fi/
• Sisäistä koordinaatiota pysyvien tunnisteiden käytön osalta
• Selvitelty EOSC-projektien FAIR-IMPACT ja FAIRCORE4EOSC tuotosten jatkohyödyntämistä ja yhteentoimivuutta kansallisesti

Aineistonhallinnan suunnittelun (DMP) edistäminen

• DMP-konsortion toimintaan osallistuminen ja toiminnan tukeminen. Viimeistelty konsortiosopimuksia.
• Rakenteisen aineistohallintasuunnitelman (maDMP) edistäminen, tähän liittyvä selvitys- ja verkostoitumistyö yhteentoimivuuden varmistamiseksi.

Yhteentoimivuuden ja toistettavuuden edistäminen

• Datanhallintatuki resurssienjakoprosessin yhteydessä
• Uuden CSC:n datapolitiikan viimeistely
• CSC:n tutkimuksen palveluiden käyttöpolitiikkojen ja muiden vastaavien dokumenttien kuvaaminen ja kehittäminen
• Työtä Kansalliskirjaston Ihmistieteiden neuvottelukunnassa, Finto-konsortiossa, Avoimen tieteen ryhmissä ja kansainvälisissä yhteyksissä

PID-palvelut

• Fasilitoitu edelleen kansallisen PID-politiikan kirjoitustyötä.
• Valmisteltu fairdata-palveluiden PID mikropalvelun käyttöönottoa
• DataCite Finland -konsortiossa on 6 jäsentä. 
• CSC:n PID-politiikan uudistamisen valmistelu on jatkunut. Asiaa edistetään CSC:n datapolitiikan ja kansallisen PID-politiikan rinnalla, varmistaen myös yhteensopivuus EOSCin kanssa.
• Seurattu kansainvälistä kehitystä osallistumalla PID-työryhmiin (ePiC, FDO forum, PIDfest-konferenssi).

Tarkastelujakso 1.9.-31.12.2024

•  Sensitive Data (SD) -palveluista SD Apply, SD Connect, SD Desktop ja Federated EGA (FEGA) tuotannossa. 
  • Asiakkaina kaikki korkeakoulut, ammattikorkeakoulujen asiakkuus kasvussa. Käyttäjien määrä kasvaa edelleen tasaisesti.
  • Asiakaspalvelu opastanut palvelun käyttöönotossa sekä soveltuvuudessa eri alojen arkaluonteisille aineistoille. Käyttöä lähes kaikilla tieteen aloilla. 
  • Asiakasorganisaatioiden palautetta kuunneltu, käyttökokemusta parannettu ja dokumentaatiota suunnattu kattamaan paremmin kohderyhmien vaatimuksia sekä tarjottu kohdennettuja koulutuksia.
  • Työ DL2021-ympäristön HPC-laskennan hyödyntämisen mahdollistamiseksi arkaluonteiselle aineistolle jatkunut. Sisäisen pilotin avulla osoitettu toiminnallisuudet aineiston hallinnan osalta, ulkoisen pilotin valmistelu aloitettu.
• Arkaluonteisen aineiston julkaisua tukevan palvelun (SD Submit) kehitystä jatkettu.
• Yhteistyö Findatan ja STM:n kanssa jatkunut HPC-laskennan hyödyntämiseksi myös toisiolain alaisille aineistoille.

Tarkastelujakso  1.9.-31.12.2024

Käyttäjien lukumäärä

Alla olevassa raportoinnissa Puhdin ja Mahdin käyttäjämäärät sisältää ne käyttäjät jotka ovat ajaneet laskentatöitä seurantajakson aikana.

Puhdin ja Mahdin käyttäjämäärät ovat olleet nousussa palveluiden alusta alkaen. Tämä alleviivaa suurteholaskennan entistä isompi rooli tieteellisessä tutkimuksessa, ja sen kehittämisen tärkeys. Tarkastelujaksolla kuukausitason kasvu jatkui kun verrataan samaan ajanjaksoon viime vuonna.  Varsinkin Mahdissa kasvu oli merkittävä verratuna vuoteen 2023. Molemmissa palveluissa näkyy tavanomainen lasku käyttäjämäärissä kesälomien ja joululomien aikana. GPU resurssien (Mahti-AI ja Puhti-AI) käyttäjät hyödyntävät usein myös CPU-resursseja. Vieläkin pääjoukko käyttäjistä hyödyntää pelkästään CPU resursseja.

Verrattaessa Puhdin ja Mahdin käyttäjämääriä voidaan todeta, että Puhdin isompi käyttäjämäärä on linjassa palvelun luonteen kanssa. Puhdissa suoritetaan enimmäkseen pieniä ja keskisuuria laskuja, toisin kuin Mahdissa, jossa paino on suurilla ja keskisuurilla laskuilla. Pienin Mahdissa käytettävä resurssi on 128 laskentaydintä (yksi laskentasolmu), joka on enemmän kuin monet pieniä laskuja tekevät käyttäjät voivat hyödyntää tehokkaasti.

Puhdin www-käyttöliittymä julkaistiin lokakuussa 2021 ja sen käyttö on jatkanut kasvuaan siten, että sillä on nyt kuukaudessa jo noin 600 uniikkia käyttäjää, jotka ajavat eräajotöitä tai interaktiivisia töitä. Tämä on hiukan alle puolet kaikista Puhti käyttäjistä. Huhtikuusta alkaen olemme myös mitanneet miten monta käyttäjiä kirjautuvat www liittymään, ja lukemat on raportoitu alla olevassa taulukossa. Noin puolet kirjautuneista käyttäjistä ajavat interaktiivisia ohjelmistoja ja puolet käyttävät vain toiminnallisuutta, joka ei näitä vaadi. Näihin toiminnalisuuksiin kuuluvat esimerkiksi tiedostojen hallinta ja ssh terminaalin avaaminen selaimeen. 

Mahdissa oli seurantajaksolla selkeä käytön kasvu syyskuussa ja lokakuussa, ja yleisesti voidaan todeta että kasvu vuoden takaiseen on vahva. Käyttöliittymän jatkuvasti kehittyvä toiminnallisuus, suurempi tunnettuvuus ja laajempi ohjelmistovalimoima tukee tätä kasvua. Varsinkin opetuspuolella kasvu on ollut voimakasta ja alustaa käytetään sekä CSC:n omilla, että asiakkaiden järjestämillä kursseilla. Mahdissakin on lisäksi käyttäjiä jotka ei käyttävät liittymää ajamatta ajoja. Näitä tarkastamalla nähdään että jopa 400 käyttäjää kuukaudessa käyttävät joitakin liittymän ominaisuutta.

Alla olevassa taulukossa on esitetty tarkat käyttäjämäärät Puhdissa ja Mahdissa. Nämä luvut kuvaavaat käyttäjien määrää jotka ovat suorittaneet eräajotöitä. Www liittymästä raportoidaan lisäksi erikseen myös käyttäjät jotka ovat tunnistautuneet käyttöliittymään (kokonaismäärä).  Huomatkaa että Mahdin luvut vuosille 2023 ja 2024 poikkeavat aikaisemmin raportoiduista luvuista. Tämä johtuu virheestä datankeruussa joka paljastui. Uudet korjatut lukemat ovat korkeammat kuin aikaisemmin raportoidut.

Laskentapalvelujen käytettävyys ja käyttöaste

Laskentapalvelimien käyttöaste tarkastelujaksolla on pysynyt hyvällä tasolla. Resurssit ovat hyvässä käytössä, mutta toisaalta asiakkaiden kannalta resurssit ovat ruuhkaisia. Vuositasolla käyttöasteet olivat korkeammat kuin edellisinä vuosina, ja kaikkien aikojen ennätystuotanto oli huhtikuussa. Laskentapalvelimien vuositason käyttöaste on laskettu teoreettisesta maksimikapasiteetista, eli siihen ei ole huomioitu esimerkiksi huoltokatkoja.

Laiteinvestoinnit

2024 ei ole tähän asti tehty laiteninvestointeja Puhtiin tai Mahtiin, Mahtia päivitetään paikallisilla levyillä 60:ssä laskentasolmussa 2024 lopussa, ja tulevat tuotantoo 2025 alussa.

Tarkastelujakso 1.9.–31.12.2024

• Allas-palvelun web-käyttöliittymää valmisteltiin julkaisuun. Toteutettiin sisäisessä testauksessa löydettyjä bugi-korjauksia ja suorituskyky parannuksia.
• Allas-palvelun seuraajaan suunnittelu aloitettiin ja valmisteltiin siihen liittyviä hankintoja tuleville vuosille. 
• Kevään 2025 Allas webinaarin valmistelu aloitettiin.  

Altaan akateemiseen tutkimukseen käytössä oleva kokonaiskapasiteetti on palvelun käynnistymisestä saakka ollut vakio 10,4 PiB. 

Altaan saatavuus

Allas on tarkastelujakson aikana ollut saavutettavissa 100%.

Altaan datamäärät ja käyttöaste

Altaassa oli tarkastelujakson lopussa akateemisten tutkimusprojektien dataa 7,6 PiB:tä. Datan määrä palvelussa väheni tarkastelujakson aikana hieman.   

Altaan käyttäjät

Tarkastelujakson aikana 1376 akateemista projektia käyttivät Allasta. 

Sektoreittain Allasta käyttävät projektit jakautuivat seuraavasti:

Tieteenalakohtaisesti projektien määrä jakautuu seuraavasti:

Datamäärän jakautuminen projektien kesken

Alla olevasta kuvasta näkyy kymmenen organisaatiota, joiden akateemisilla projekteilla oli eniten dataa Altaassa vuoden 2024 lopussa.

Yli 89%:lle Allas-projekteista riittää vakiona saatava 10 TiB kapasiteetti ja 10% projekteista käyttää yli kymmennen mutta alle 50 TiB kapasitettia. Suurempaa yli 50 TiB kapasiteettia tarvitsee vain noin prosentti projekteista. 

CSC:n tuki Altaan käyttäjille

CSC:n tuki Altaan loppukäyttäjille on järjestetty CSC:n yleisen asiakaspalvelun kautta (servicedesk@csc.fi) ja kysymykset/ongelmat dokumentoidaan CSC:n tikettijärjestelmään. Tarkastelujakson aikana on vastattu 90 yhteydenottoon. Edellisen raportointikauden aikana vastattiin yhteensä 71 yhteydenottoon.

2024

Vuoden 2024 aikana hankitaan tulevaisuuden laskenta ja datapalveluita joita CSC tarjoaa (DL2026). Tämän uuden koneen nimi on Roihu, ja se tulee käyttöön vuoden 2026 alussa. Lisäksi nykyisten laskentapalveluiden toiminnallisuutta parannettiin seuraavasti:

• Vuoden aikana tuettiin jatkuvasti Puhdin ja Mahdin käyttöympäristöjä. Nämä ovat raportoitu osana menetelmä- ja tiedealatukea tässä raportissa. 
• Puhdin käyttöjärjestelmä vaihdettiin Red Hat Enterprise Linux:ista  RockyLinux 8.10:een
• Lumi-O ja Allas käyttö www-käyttöliittymän kautta on nyt mahdollista Puhdissa, Mahdissa ja Lumessa.
• Olemme jakaneet neljä isoa A100 GPU:ta pienempiin loogisiin GPU yksiköihin joilla jokaisella on seitsemäsosa ison GPU:n muisti- ja laskentaresursseista. Näitä voidaan hyödyntää etenkin interaktiivisessa käyttössä ja mahdollistaa täten GPU:ta käyttävien kurssien järjestäminen, joissa opiskelijat käyttävät niitä esimerkiksi notebook ympäristössä.
• Sensitiivisen datan tukea suurteholaskennan alustoilla kehitetään, fokuksena datan salaus sekä laskennan ja datan riittävä eristäminen.
• Ohjelmistojen suorituskyvyn seurannan kehittäminen ja kuormaa aiheuttavien ja alisuoriutuvien töiden identifiointi, varsinkin keskitetty seuraamaan GPU töiden käyttöastetta.

2021 - 2026

Nykyiset supertietokoneet palvelevat Suomen tiedettä noin vuosiin 2025 - 2026 asti. Koneiden elinkaaren päättyminen riippuu sekä mahdollisista tehokkuutta nostavista lisäinvestoinnista, että jatkovuosien kustannuksista verrattuna koneiden suhteelliseen laskentakapasiteettiin. On kuitenkin selvää, että vuosien 2025-2026 aikana on tarve uudelle kansalliselle supertietokonekapasiteetille. Vuoden 2023 aikana valmistauduttiin tähän uudistukseen teknologia- ja asiakastarvekartoitusten kautta.

Kuvassa esitetään palveluiden elinkaari. Vihreällä olevat alueet ovat tavallista tuotantoaikaa. Keltaisella merkityt alueet ovat joko rajoitettua käyttöä, tai käyttöä joka vaatisi lisäinvestointeja tai tuen jatkamista. www.Puhti ja www.Mahti viittaa tässä suunniteltuun www-käyttöliittymän käyttöönottoon. Tavoitteena on ylläpitää ja kehittää laskentapalveluiden toiminnallisuutta ja ajanmukaisuutta niiden elinkaaren aikana. 

Tarkastelujakso 1.9.-31.12.2024

Koulutus

Tarkastelujakson aikana ei järjestetty pilvilaskentaympäristöön liittyviä koulutuksia.

Asiantuntijatuki servicedeskin kautta

Pilvipalveluiden tukipyynnöt sisältävät tukipyynnöt sekä Rahti että Pouta -palvelujen käyttäjiltä. Kuluneen tarkastelujakson aikana tukipyyntöjen määrä on ollut ennätyksellisen suuri, vain marraskuun osalta jäätiin hiukan vuoden 2023 tasosta. Yksi syy tukipyyntöjen kasvuun on vanhan Rahti-palvelun sulkeutuminen ja uuteen siirtymisen herättämät kysymykset. Opiskelijatunnuksissa koettiin myös yli viidensadan käyttäjän kasvu, joka näkyy myös meille asti tulevina tukipyyntöinä.

Opiskelijatunnusten määrä on uuden lukuvuoden käynnistyessä odotetusti kääntynyt kasvuun. Uudet Student ja Course projektit näyttäisi varovaisesti arvioiden olevan menestys, opiskelijatunnusten määrä on noin kolminkertaistunut palvelujen julkaisemisen jälkeen. Korkeakoulujen tiedottamista Student ja Course projektityypeistä jatketaan edelleen.

Dokumentoinnissa keskityttiin Rahti-palvelun uuteen versioon ja vanhan poistamiseen / soveltuvilta osin päivittämiseen. Esimerkiksi ohjeartikkelit päivitettiin vastaamaan uutta Rahti-ympäristöä ja sen lisäksi tuotettiin uusia ohjeartikkeleita. Myös dokumentaation rakennetta yksinkertaistettiin koko pilvipalveluiden aihealueen tiimoilta koherentimmaksi kokonaisuudeksi.

Käyttäjämäärät

Käyttäjämäärien kuvaajista puuttuu data CSC työntekijöiden käyttämistä resursseista (vihreä käyrä) ajalta 30.10-5.11 monitoroinnissa ilmenneen ongelman vuoksi. Yleisesti voidaan myös todeta, että CSC pilvipalvelujen saatavuus oli tarkastelujaksolla hiukan totuttua alemmalla tasolla (99,81%) johtuen laitteistoon kohdistuneista huoltotöistä.

cPouta

cPouta-ympäristössä oli tarkastelujakson aikana keskimäärin 1027 käyttäjää. Käyttäjämäärät ovat loppuvuotta kohden kasvaneet selvästi ja selittynevät osin opiskelijatunnusten määrän kasvulla. Tällä hetkellä cPouta palvelussa on 5440 rekisteröitynyttä käyttäjää, joilla on tarvittaessa pääsy palveluun. Lisäksi cPouta palvelussa on 142 käyttäjää CSC:stä, jotka käyttävät pilvialustaa KTPO-sopimusoston mukaisten työtehtävien hoitamiseen, tukipyyntöjen ratkaisemiseen ja palvelujen tuottamiseen. Sisäinen käyttö on säilynyt vakaana tarkastelujakson aikana, ja käytännössä samana edelliseen tarkastelujaksoon verrattuna.

ePouta

ePouta-ympäristössä on yli 100 aktiivista käyttäjää. Luku on pysynyt suhteellisen vakaana läpi tarkastelujakson. Tällä hetkellä 220 rekisteröityneellä käyttäjällä on pääsy ePoutaan. Kokonaismäärä on kasvanut muutamalla käyttäjällä, mutta ovat käytännössä säilyneet samana edelliseen tarkastelujaksoon verrattuna.

Rahti

Rahti palvelun tuotantoversio on ollut nyt käytössä noin kahdeksan kuukautta ja Rahti palvelun betaversio suljettuna muutaman kuukauden ajan. Siirtymä vaikuttaisi onnistuneelta, asiakkaita tiedotettiin riittävästi ja usein muutoksesta palvelualustaan ja heitä tuettiin uuteen palveluun siirtymisessä. Mitään mainittavia ongelmia ei esiintynyt. 

Tuotantoversion kävijämäärissä näkyy sama trendi (pientä laskua edelliseen tarkastelujaksoon verrattuna), mikä on ollut havaittavissa cPouta palvelussa ja selittynee opiskelijatunnusten määrän vaihtelun korrelaationa.

Työkuormina (aktiivisina käyttäjinä) mitattuna Rahti palvelun tuotantoversiossa on 722 aktiivista käyttäjää, joilla on projekti Rahti-palvelussa. Kuvaajan käyttäjämäärä joulukuulta 2024 sisältää kaikki käyttäjät (1292). Kyseinen luku on ensimmäinen, jossa on mukana pelkät tuotantoversion Rahti-käyttäjät. Eli beta-version mahdolliset 'haamukäyttäjät' ovat nyt siivoutuneet pois luvuista.

Tarkastelujakso 1.9.-31.12.2024

Ohjelmistokäyttö Puhdilla

Miten kuvaajat on laadittu?

CSC:n asentamat eri ohjelmistot laskentapalvelimilla otetaan käyttöön ohjelmistomoduleilla. Yllä olevat kuvaajat on laadittu seuraamalla ja kohdistamalla eräajotöissä käytetty aika kyseiselle ohjelmistolle, palvelimelle ja CPU/GPU:lle käytön mukaan. Koska yhdessä työssä voi olla ladattuna monta modulia, eräajoista modulikohtaisesti laskettu summa voi ylittää todellisuudessa yhteensä käytetyn ajan (esim. grace on apuohjelma, ei simulointikoodi). Toisaalta, lista kattaa vain CSC:n esiasentamat ohjelmistot (ne joista on moduli). Kuvaajista on poistettu kääntäjien, kirjastojen ja vastaavien työkalujen modulit. Tutkijoiden itse asentamat ohjelmistot eivät näy tässä analyysissa, koska niistä ei ole omaa modulitiedostoa. CPU/GPU-ajan ja laskentayksiköiden vertailu keskenään ei ole suoraviivaista.

Tulkinta

Suurin osa moduuliseurannan alaisesta laskenta-ajasta (CPU) kuluu kourallisella ohjelmistoja: Python datan käsittelyyn, kemia, materiaalitiede, bioinformatiikka, rakennemekaniikka. GPU-aika rajoittuu vielä pienemmälle joukolle, jossa kärjen ja ylivoimaisesti suurimman kapasiteetin vie AI/ML-käyttö (python-data, pytorch, tensorflow) ja 10 suurimman joukossa GPU:ta hyödyntävä molekyylidynamiikka (Maestro/Desmond, Gromacs, Amber) ja relion (mikroskooppikuvien analyysiohjelma). Käyttäjämääriltään suosituimpia ovat bioinformatiikan ja koneoppimisen/datan käsittelyn työkalut, kemian ohjelmistot. Kasvava osa AI/ML-käytöstä suoritetaan tutkijoiden itse asentamilla ympäristöillä. Sitä helpottamaan laadittiin tykky-aputyökalu, joka myös keventää levyjärjestelmän kuormaa. Puhdilla eniten käyttäjiä on tilasto- ja biotieteiden, data-analyysin ja koneoppimisen ohjelmistoilla. GPU-datasta puuttuu suurin osa käytöstä, mikä johtuu suurelta osin siitä, että tutkijat ovat käyttäneet tykky-kontitustyökalua luomaan omat ajettavat kontit CSC:n asentamien (ja moduliseurannan piirissä olemisen) sijaan.

Tieteelliset ohjelmistot Puhti-, Mahti ja LUMI-laskentapalvelimilla

• Docs CSC oppaassa dokumentoituna ja asennettuna Puhtiin 129 (127, suluissa edellisen raportin vastaava luku), Mahtiin 43 (41), LUMI 37 (36), Puhti Web Interface 24 (23), Mahti Web Interface 9 (8), LUMI Web Interface  (10).
  

• Ladattavia eri ohjelmistomoduleja Puhtissa 354 (330), Mahtissa 140 (138), LUMI:ssa 35 (34) sekä näiden eri versiot

  • Yllä LUMIn osalta listattu ne ohjelmistot, jotka CSCn asiantuntijat ovat asentaneet käyttäjille suoraan ladattaviksi varsinaisen pääjakelukanavan lisäksi (itse tehtävät EasyBuild-asennukset). Tavoitteena käytettävyyden parantaminen ja uuden kapasiteetin käyttöönoton helpottaminen.
    

Kaikista asennetuista ohjelmistoista ei ole omaa sivua käyttöoppaassa, vaikka niitä onkin asennettu ja ohjelmistomoduli on saatavilla. Tällä pyrimme maksimoimaan hyödyn käytetystä työajasta harvemmin tarvittujen ohjelmistojen aiheuttamasta työmäärästä ja toisaalta korkeatasoisesta asiakaspalvelusta. Ohjelmistovalikoimaa arvioidaan jatkuvasti käytön, uusien ominaisuuksien, kustannusten ja asiakaspyyntöjen perusteella.

Uniikit käyttäjätunnukset lisenssipalvelun kattamista kaupallisista ohjelmistoista

Tilanteet, joissa käyttäjä on joutunut odottamaan lisenssiä (se ei ole ollut saatavilla)

Taulukko kuvaa niitä päiviä, joina tutkija ei ole saanut kaupallisen ohjelmiston suorittamiseen lisenssiä. Lisenssien määrää on pyritty optimoimaan siten, että eri tutkimus on mahdollista tasapainoisesti eri tiedealoilla, mutta kohtuullisella lisenssikustannuksella. Suurempi lisenssi olisi kalliimpi, ja mahdollistaisi käytön milloin vain, mutta kokonaiskustannusten optimoimiseksi olemme ennemmin hankkineet pienemmän määrän lisenssejä useampiin ohjelmistoihin kuin paljon yhteen. Accelrys (Biovia) -lisenssi on ollut säästösyistä alimitoitettu ja sen tarkoitus on ollut mahdollistaa kesken jääneiden tutkimusprojektien saattaminen loppuun. Ohjelmiston poistuminen valikoimasta tehtiin asteittain, jotta tutkijat saavat ajoissa tiedon poistuvasta ohjelmistosta. Korvaava ohjelmisto (Schrödinger) mahdollistaa vastaavanlaiset toiminnot, varsinkin pienmolekyyli- ja lääkeainetutkimuksen puolella. Siinä lisenssi on ollut merkittävästi laajempi, ja se on riittänyt hyvin paljon suuremmasta käyttäjämäärästä ja volyymista huolimatta.

Uniikkien käyttäjätunnusten muutos kuukausittain. Vertailu vuosien 2024 ja 2023 välillä. Positiivinen luku tarkoittaa käyttäjämäärän kasvua, negatiivinen laskua.

Uniikkien käyttäjien määrä ja muutos vuositasolla. Vertailu vuosien 2024 ja 2023 välillä. Positiivinen luku tarkoittaa käyttäjämäärän kasvua, negatiivinen laskua.

Tarkastelujakso 2024

Summary:

In 2024 we moved Chipster from Rahti beta to Rahti 2 and enabled scalable and more performant data storage for the growing analysis requirements. On the bioinformatics side we ensured that our users' have access to the latest and most performant analysis methods in the two most popular and fast moving fields, single-cell and spatially resolved transcriptomics. This meant updating a large number of analysis tools to the latest version, accompanied by tutorial videos and an eLearning course. In addition to these major tasks we improved the usability of the web interface, updated end-of-life operating systems and program libraries, and answered about 250 user support questions.

We saw a drop in user numbers in 2024, which probably reflects the fact that the above mentioned update tasks took so much time that new doctoral students were not trained to use Chipster. We continue updating our training materials (lectures, exercises and datasets) and already four courses on various analysis topics have been scheduled for the spring 2025. In order to scale up training and user support, we have provided eight tutorial videos on Chipster YouTube Channel. The channel has now over 7986 subscribers, and the 168 videos had over 83 573 views  in 2024. In order to make training more scalable, in 2024 we also developed an eLearning course on the analysis of spatial transcriptomics data.

It is a daunting task to keep up with the fast moving fields of single-cell RNA-seq and spatially resolved transcriptomics, so we continue our European collaboration with the ELIXIR Single-Cell Omics Community, where we also have a co-lead position. In addition to this international collaboration, we actively engage in discussions with Finnish university groups and core facilities in order to prioritize our work and collaborate in training.

Statistics (2023 figures in brackets for comparison):

• Users 243 (415)
• Number of jobs 30 537 (45 900)
• Availability 98.4%% (99.1%)

• Number of user support questions answered 248 (396)
• Chipster YouTube channel
  
  • 7987 subscribers (7368)
  • 83 573  views (126 374)

Development work

• Technical
  • Moved Chipster from Rahti beta to Rahti2
    • The permanent components of Chipster were moved to Rahti 2

    • User data has been moved from Rahti beta volumes to Allas object storage. 

    • Chipster databases were moved from Rahti beta (Postgres v9.6) to Pukki (v14) DBaaS

    • Chipster analysis jobs run now in cPouta (instead of Rahti beta) in our own autoscaled K3s cluster

      • Need to use cPouta because Rahti 2 does not have shared volumes for our 500 gigabyte tool binaries and reference data

  • Enabling scalable and more performant data storage for the growing analysis requirements

    • Implement support for encrypted S3 object storage. Encryption-at-Rest reduces the risk of data leak.

    • Allow and make robust the download of huge analysis sessions to users' computer. This includes sessions which contain a large number of analysis jobs and therefore metadata, and session zip files where the old implementation was incompatible with the current Allas for files bigger than 128 GB.

    • Add more storage space to keep up with increased usage.

    • Troubleshoot a download problem of large files from Allas to Chipster in Java (the HA proxy of Allas cut the connection for files bigger than 128 GB).

    • Ensure users' uploads are not interrupted by concurrent administrative data management operations.

  • Usability improvements
    
    • Reorganization of analysis tool categories to make it easier to find suitable analysis tools for a particular data type now that number of tools and data types has grown.
  • Build container images beforehand in GitLab to make service breaks faster and more predictable.
  • Updates
    • Update end-of-life program libraries: Jetty 11 -> 12, Hibernate 5 -> 6, Flyway 7 -> 10, Angular 17 -> 18
    • Replace the old CentOS 7 server chipster-backup.csc.fi
• Bioinformatics
  • Update the analysis tools for single-cell and spatial transcriptomics data to Seurat v5.
  • Eight new video tutorials to enable users to make the most of the new Seurat v5 tools
  • Provide user support (248 support requests answered) and training.
  • Develop an eLearning course on the analysis of spatial transcriptomics data.
  • Collaboration with Finnish universities and the ELIXIR Single-Cell Omics Community.

Tarkastelujakso 1.9.-31.12.2024

Elmer-kehitys jatkui tasaisen tappavaa tahtia vuoden 2024 viimeisellä kolmanneksella. Kommittien määrä oli huomattavan korkea ja työtä tehtiin monella rintamalla. Elmerin continuous integration GitHub-alustalla on historiallisen hyvällä tolalla. Testit ajetaan automaattisesti 12:lla eri alustalla ja kaikki testit läpäisevät kaikki alustat.  Sovellusalueista jäätiköiden mallinnus ja sähkömagnetiikka jatkavat keihäänkärkinä. Sähkömagnetiikassa avointen mallinnusympäristöjen kiinnostus on nousussa, josta viimeisimpänä merkkinä on Elmerin kosiskelu "Chips Act" EU-projectiin (kosiomiehenä "Leibniz Institute for High Performance Microelectronics Leibniz-Institut").

• ChEESE-2P: EU projekti, ”Center of Excellence for Exascale in Solid Earth”
  
  • CSC:n sovelluksena jäätikkötulvat
  • Työtä tehty mm. GPU:n paremmassa hyödyntämisessa lineaarsisten yhtälöryhmien ratkaisemikseksi (rocALUTION) sekä matriisin koostamisessa. Elmer-työ on saatu mukaan AMD:n erityistuen piireen, jolloin on mahdollista pyytää jopa muutoksia kirjastorajapintoihin. 
  • Merkittävää edistystä CSC:n omassa "Glacier Outburst" -kokonaisuudessa. 

• HiECSs: Suomen Akatemian CoE “High-Speed Electromechanical Energy Conversion Systems”

• • Yhteistyö on ollut tiivistä kaikkien osapuolten kanssa (Aalto, LUT, TU ja VTT).
  • Elmerin osalta pidetty kuukaisittain teknisiä kokouksia, joihin osallistuvat eniten Elmeriä käyttävät tutkijat.
  • Valmistautuminen Dipolissa pidettävään HiECSs Winter Seminar 14.1.2025.
  • Kehistystä AV-yhtälöiden tehokkaammaksi ratkaisemiseksi hyödyntäen matriisien blokkirakennetta. 

• OpenSuperQPlus: EU-projekti kvanttilaskennan edistämiseksi
  • Keskusteltu mm. adaptivisuudesta ja sähköstaattisten ongelmien singulariteeteistä.  

• Vuoden 2025 Uudet projektit 
  
  • Suomen Akatemialle osoitettu HiFi-Mutants projekti yhteistyössä GTK:n kanssa meni myös läpi. 

  • TerraDT (Digital Twin of Earth system for Cryosphere, Land surface and related interactions), 1/2025-12/2027, 10 PM/v.

  • CryoSCOPE (CRYOsphere Science Concluding in new Observations and Productive Exploitation), 2/2025-2029, 3 PM/v.
• Julkaisuja yms.
  • v. 2024 aikana on julkaistu jo 17 Elmer/Ice aiheista ja pari teknisen laskennan alueen juttua. 
• Useita uusia piirteitä mm.

• • Mortar-ehtojen eliminointi myös Hcurl-konformilla kannalla. 
  • Elmerin Nix distribuutio. 

• Yleistä tukea ja bugifiksejä.
• Gitissä hieman keskimääräistä suurempi määrä committeja eli 310, alla kukin 4 kk:n jakso alkaen v. 2020
  • git log --before yyyy-mm-dd --after yyyy-mm-dd | grep Author | wc -l
    • 2024: 206 (1-4), 435 (5-8), 310 (9-12)
    • 2023: 493, 199, 234 
    • 2022: 194, 230, 282
    • 2021: 246, 174, 278
    • 2020: 338, 220, 285
• 29,518 youtube-videon katselua elmerfem-kanavalla liukuvu vuosi (-1% ed. vuoteen):
  • 2024/12: 28,8k
  • 2024/8: 29,5k
  • 2024/4: 29,4k
  • 2023/12: 29.2k
  • 2023/8: 28,1k
  • 2023/4: 26,3k
  • 2022/12: 23.9k

Tarkastelujakso 1.9.-31.12.2024 (T3 2024)

Laskennallisen tutkimuksen asiantuntijatuki servicedeskin kautta

• Servicedeskin kautta käyttäjät saavat tukea CSC:n koneiden ja niille asennettujen tieteellisten ohjelmistojen ja tietokantojen käytössä, laskennallisten menetelmien soveltamisessa ja suurteholaskennan ohjelmointiin ja ohjelmien suorituskykyyn liittyvissä kysymyksissä. Pyynnöt Mahdin isoimman jonon käytöstä käsitellään myös servicedeskin kautta.

Vuosittainen tukipyyntöjen määrä on kasvanut noin 10-20% vauhtia, joskin vauhti on tänä vuonna tasaantunut. Ratkaisuajat ovat pysyneet lyhyinä vaikka asiakkaiden, asiakasorganisaatioiden, -projektien ja käytön määrä on lisääntynyt huomattavasti nopeammin (ks. taulukko alla). Kuten yllä mainittu, tämä selittyy osin käyttäjähallinnan automaation, verkkokäyttöliittymien ja dokumentaation aktiivisen kehittämisen kautta. Asiantuntijatuen käyttäjäkokemuksen tulkitaan pysyneen korkealla tasolla vuoden vaihteen loppukäyttäjäkyselyn ja itse tukipyyntöjen sisältöjen perusteella. Vuonna 2024 käynnistettiin useita kehitysprojekteja erityisesti uusien aloittelevien käyttäjien tukemiseen, sillä heidän palaute kyselyssä oli kriittisintä. Tulokset ovatkin parantuneet, vaikka vielä lisää toimenpiteitä saadaan tuotantoon tänä vuonna.

		ratkaisuaika [d]
jono(t)	tukipyyntöjä	mediaani	top75%
2020 SR-COMP	7747	1.7	7.7
2021 SR-COMP	9045	1.2	6.9
2022 SR-COMP	9639	1.0	3.9
2023 ACF	11178	0.76	2.7
2024 ACF	11161	0.68	2.8
2021/M1-4 SR-COMP	3202	1.9	10.3
2021/M5-8 SR-COMP	2668	1.0	5.9
2021/M9-12 SR-COMP	3145	1.0	5.7
2022/M1-M4 SR-COMP	4058	0.95	4.9
2022/M5-M8 SR-COMP	2187	0.83	3.1
2022/M9-M12 SR-COMP	3201	0.80	2.8
2023/M1-4 ACF	3797	0.73	2.3
2023/M5-8 ACF	3551	0.78	2.5
2023/M9-12 ACF	3679	0.71	2.6
2024/M1-4 ACF	3972	0.66	2.8
2024/M5-8 ACF	3425	0.68	2.6
2024/M9-12 ACF	3650	0.69	2.76

ACF (ennen 2023 organisaatiouudistusta SR-COMP)   == customer-accounts, hpcplatforms, notebooks-support, research-support, resource, servicedesk. (nämä asiakastuen "jonot" kattavat suurimman osan laskentaympäristön käytön tukipyynnöistä lähtien tunnusten hankkimisesta ja resurssien hakemisesta käytön ongelmien ratkaisemiseen ja konsultointiin)

Tikettien määrän kasvu näyttää tasoittuneen vuonna 2024 kasvaneesta asiakasmäärästä riippumatta. Keskimääräinen ratkaisuaika on kuitenkin pysynyt lyhyenä tai jopa hieman lyhentynyt. Ainakin osittain tämä lienee sen ansiota, että dokumentaatiota on parannettu, käytettävyyttä kehitetty, resurssienjakoa ja käyttäjähallintaa automatisoitu eli tukiprosesseja onnistuneesti tehostettu.

Tikettien ratkaisuaikojen jakaumassa on pitkä häntä. Osa tiketeistä jää odottamaan asiakkaan vastausta ja se suljetaan, kun sitä ei saada. Joskus jo ratkaistu ja suljettu vanha tiketti avataan uudelleen uuden ongelman ilmetessä (tämä myös hieman nostaa edellisten raporttien ratkaisuaikoja niiden julkaisun jälkeen). Toki joidenkin tikettien ratkaisu myös aidosti kestää pitempään. Toisaalta jonoissa on myös lähinnä "tiedoksi" olevia asioita. Määrä ja ratkaisuaika eivät täydellisesti kuvaa tehtyä työtä tai saatua palvelua, mutta ratkaisuaikojen mediaani antaa suuntaa ja vähintään trendin. Näytteistämällä tehty tyytyväisyyskysely (pulse) kertoi hyvin korkeasta laadusta siihen asti kun sitä kerättiin. Suora asiakastuki ja käyttödokumentaatio saavat myös järjestelmällisesti kiitosta vuosittain tehdyissä loppukäyttäkyselyissä, mikä kertoo korkeasta laadusta määrän lisäksi.

ServiceDeskin kautta annettavan "normaalin" asiakastuen kautta asiantuntijamme toteuttavat myös laajempia projekteja. Yleensä niihin ryhtyminen edellyttää erillistä rahoitusta, mutta usein pilottihenkisesti ratkotaan tapauksia, joiden odotetaan päätyvän suuremman tutkijajoukon hyödyksi.

Vuodenvaihteen asiakaskyselyn perusteella CSC:n palvelujen yleisarvosana on hieman noussut 8.7→ 8.8 (mikä on edelleen erinomainen) tai NPS (net promoter score) 59 → 61. Tulos on edelleen erinomainen, mutta vuonna 2025 pyrimme nostamaan asiakaskokemuksen paremmalle tasolle. Alustavien analyysien mukaan krittisimmät vastaajat ovat uusia asiakkaita (käyttöhistoria alle vuoden) kun taas pitkään palveluja käyttäneet ovat selvästi tyytyväisempiä. Yksi mahdollinen selitys on palvelujen käytön aloittamisen vaikeus. Asiantuntijapalvelumme ovat tosin juuri tähän panostaneet esim. viikottaisten kahvihetkien kautta, itseopiskelumateriaalien kehittäminen, neljä kertaa vuodessa järjestetty HPC-ympäristökurssi (joiden lisäksi kaksi tiedealakohtaista ympäristökurssia), useita yliopistovierailuja sekä 2024 pilotoitu CSC Scientific Computing Ambassador -ohjelma, joka pyrkii helpottamaan käytön aloittamista, tavoittamaan uusia käyttäjiä ja osallistamaan yliopistoilla jo hyvin verkostoituneita ja osaavia tutkijoita. Samaan aikaan palvelujen käytettävyyttä on kehitetty, eli katsomme työpanoksemme kohdistuneen tarpeiden mukaisesti. 

Käyttöoppaat (docs.csc.fi)

• Sivustoa käytetään paljon ja positiivista palautetta saamme sekä omilta asiakkailtamme, että muiden laskentakeskusten palvelujen käyttäjiltä.
• Docs päivitykset: 44 (39 2024T2) sisällöntuottajaa, 277 (240 2024T3) päivitystä ja 230 (331 2024T3) editoitua eri sivua (GitHub).
• docs.csc.fi saavutettavuus oli 99.96% vuonna 2024
  
• Docs sivuston sisältöä on kehitetty systemaattisesti. Ylläpidettävyyttä parannettiin karsimalla kustomointeja.
  
• Vuoden vaihteen käyttäjäkyselyssä tärkeimmäksi tietolähteeksi oli valittu Docs CSC (74% vastaajista) ja kollegalta kysymisen (39%) jälkeen neljäntenä ServideDesk (31%). Lainaus Docs CSC tekstipalautteesta: "Docs are well-maintained and communications is clear.", "Documentation is good, exceptionally clear and understandable, brilliant, informative..."
• Sivukohtaista palautetta annettiin 261 (224)  ja 96 (108) . Palautetta saamme erityisesti käyttäjähallinnasta: top viidestä sivusta neljä liittyy siihen. Negatiivista palautetta saamme erityisesti Intiasta, jonka tulkitsemme johtuvan sekaannuksesta intialaisen CSC:n kanssa (10  salasanan vaihtosivulle) koska sama sivu sai myös 60 tulkitsemme, että sisältö itsessään on kunnossa. Toiseksi eniten krittiikkiä sai pouta-instanssien konfiguroiminen 7   ja 3 . Näiden jälkeen palaute hajaantuu yli sadalle sivulle, jolloin parannusten kohdistaminen sen perusteella on epävarmaa. Suomesta tuleva kritiikkiä on selvästi vähemmän (27%) kuin positiivista palautetta. Pääviesti on, että sisältö koetaan hyödylliseksi.
• Sivuston kävijätilasto:

Docs.csc.fi kävijätilastoja 2024M9-12

Koulutus  (suluissa touko-elokuu 2024)

• Koulutustapahtumia 23 (11)
  
• Kurssipäiviä 54 (40.5)
• Osallistujia 1134 (468) 
  
  • 8 (5)  webinaaria/online
  • 11 (2)  luokkahuonekurssia (mukaanlukien hybridit)
  • 4 (4) MOOC
• Kokonaisarvosana 8.52 (8.63)
  
• Practical Deep Learning-kurssi (12.–13.11.2024)
• Tapahtumiin laskettu vain pääosin KTPO-sopimuksen rahoittamat ACF:n koulutustilaisuudet. Näiden lisäksi CSC kouluttaa paljon osana kilpaillun rahoituksen projektien toimintana yhteistyössä kumppaneiden kanssa. Esim. BioExcel CoE:n osana järjestettiin webinaareja ja LUMI tuen ja EuroCC2 projektin puitteissa kansainvälisenä yhteistyönä useita koulutuksia.
• Viikottainen tunnin loppukäyttäjäkahvihetki on yllä laskettu vain yhdeksi tapahtumaksi, vaikka se pidettiin 13 kertaa. Henkilökohtainen matalan kynnyksen tuki koetaan arvokkaaksi. Kahvihetkeä on käytetty myös itseopiskelu- ja online-kurssien lähitapaamisiin. Näin varmistetaan uusien käyttäjien koulutuksen skaalautuvuus ja laatu. Viikottaista slottia käytetään jo yleisesti erikseen sovittavien tukisessioiden asemesta mikä vähentää ylimääräistä työtä. Tukihetki on tulossa tutkijoille tutuksi: kävijöitä ja kysymyksiä on aiempaa enemmän.
• CSC:n laskentaympäristön itseopiskelumateriaalit ovat tarjolla eLena oppimisympäristössä ilmaisen kirjautumisen kautta tai täysin vapaasti suoraan Githubin kautta. Materiaaleja käytetään ahkerasti:  150 - 300 vierailijaa viikossa, sekä kurssien aikana piikinomaisesti selvästi runsaammin.  Materiaalia linkitetään myös ahkerasti tukipyyntöjemme vastauksiin, mikä mahdollistaa tehokkaasti niiden ratkaisun kontekstoimisen sekä asiakkaan ymmärryksen ja kompetenssien kasvamisen. Materiaalien upottamista yliopistojen koulutusohjelmiin on pilotoitu OAMK:in kanssa onnistuneesti ja sitä edistetään myös muiden kanssa.
  
• Vuoden vaihteen loppukäyttäjäkyselyn perusteella CSC:n koulutukset ovat tärkeitä: kymmennen eri väitettä sopivan koulutuksen valitsemisesta niiden laatuun sai keskimäärin arvosanaksi 4.4/5.
• CSC: valmentama kuudesta Helsingin yliopiston ja Aallon kandivaiheen opiskelijasta koostuva Student Cluster Competition -joukkue Löyly hyväksyttiin SC24-konferenssin yhteydessä järjestettävään pääkilpailuun marraskuussa 2024. Löyly oli ensimmäinen suomalainen joukkue pääkilpailussa. Lisäksi syksyllä koottiin kuuden Helsingin yliopiston opiskelijan joukkue ISC25-konferenssin yhteydessä kesäkuussa 2025 järjestettävään kilpailuun. Team Lumikko hyväksyttiin konferenssipaikalla järjestettävään pääkilpailuun. CSC valmentaa joukkuetta tiiviissä yhteistyössä Aallon vastaavan joukkueen kanssa.
  
• Aallon, Jyväskylän, Oulun ja Tampereen yliopistojen kanssa käynnistetään suurteholaskentaan liittyvää koulutusyhteistyötä.
• Ammattikorkeakoulujen rehtorineuvosto Arene ry ja CSC toteuttivat yhdessä koulutusohjelman tekoälystä ammattikorkeakoulujen rehtoreille TKI-toiminnan ja oppimisen muutosmahdollisuutena ja voimana ammattikorkeakoulujen kentällä sekä yhteiskunnassa
• Koulutustapahtumien lisäksi asiantuntijamme ovat osallistuneet aktiivisesti eri verkostojen tapahtumiin, joissa CSC:n palveluja on esitelty sekä akateemiseen tutkimukseen että yrityksille.

• Uutta:
  • Scientific computing Ambassador -ohjelman pilottivaihe saatiin valmiiksi.  Ohjelma pyrkii tehostamaan tietoisuutta CSC:n palveluista ja tukemaan niiden käyttöä yhteistyönä yliopistojen paikallisten asiantuntijoiden kanssa. Ohjelman julkinen kuvaus: https://wiki.eduuni.fi/x/g4z9I
  • Aitta-kehitystyö edistyy
  • Research.csc.fi loppukäyttäjäsivuston päivitys ja siirto uudelle alustalle on edennyt julkiseen beta-vaiheeseen ja valmistuu 2025Q1 aikana. Päivitys tuo useita uusia toiminnallisuuksia, mm. APIn kautta esitettävän palvelukatalogin.
  • Päivityksiä ohjelmistoasennuksiin: PyTorch 2.5., JAX 0.4.30 (Puhti, Mahti, LUMI).
  • Päivityksiä tukimateriaaleihin CSC Docsissa: lisätietoja suurten kielimallien kouluttamiseen ja käyttöön, lisäyksiä RStudio-dokumentaatioon. 
  • Ensimmäinen High Performance R-kurssi pidettiin. 
• Tulossa:
  
  • LUMI-käytön aloitusopas
  • Koulutustarjontaportfolion määrittely ja kehitys
  • Scientific computing Ambassador -ohjelman laajempi käynnistys: uusia lähettiläitä ja yhdessä suunniteltujen ja sovittujen toimien aloittaminen.

Tarkastelujakso 1.9.-31.12.2024 (T3 2024)

Yleisesti

• CLARINin tukema tutkijan vierailu Saksan kieliinstituutista (IDS Mannheim) 

• Kielipankin järjestelmät siiretty vanhasta uuteen Rahti-alustaan
• Korp-palvelu siirretty uudelle palvelimelle
• Merkittävä ja systemaattinen metadatakuratointi

Käyttäjäluvut

Pääportaali (www.kielipankki.fi)

• Awstats
  • Uniikkeja vierailijoita keskimäärin 16982kuukaudessa (+165.17% verrattuna 1.9.-31.12.2024)
  • Kesän epätavallisen korkea käyttäjämäärä johtuu todennäköisesti boteista tai muusta automaattisesta haravoinnista
• Saatavuus 99.974%

Hakupalvelu Korp (korp.csc.fi / kielipankki.fi/korp)

Palvelu siirrettiin helmikuussa uudelle alustalle, jolla on käytössä nopeampi tallennustila. Samalla palvelu siirrettiin välityspalvelimen taakse, ja se sai osoitteen https://kielipankki.fi/korp. Aluksi vanhalle palvelimelle jäi kuitenkin aineistojen lataukseen käytetty palvelu https://korp.csc.fi/download/. Näin ollen tilastot eivät ole alkuvuoden osalta vertailukelpoisia, sillä liikenne on jakautunut kahdelle palvelimelle. Tietosuojasyistä kummankin uniikit käyttäjät lasketaan erikseen. Kuvaajassa on esitetty erikseen sekä uuden että vanhan palvelimen käyttäjät. Tällöin jotkin käyttäjät ovat todennäköisesti mukana sekä vanhan että uuden palvelimen pylväissä.

• Awstats
  • Uniikkeja vierailijoita keskimäärin 1508 kuukaudessa (-30.65% verrattuna kokonaiskävijämäärään 1.9.-31.12.2024)
• Saatavuus: 100%

Lähteet: awstats, CSC:n OpsView

SIIRRETTY MUIDEN KOHTIEN ALLE, EI RAPORTOIDA ERIKSEEN

SIIRRETTY MUIDEN KOHTIEN ALLE, EI RAPORTOIDA ERIKSEEN

Tarkastelujakso 1.9.-31.12.2024

Uusien ominaisuuksien kehitys:

• Käyttäjäkysely toteutettu.
• Käyttöliittymän ja käyttökokemuksen parannuksia.
• Palveluun liittyviä käyttöehtoja ja dokumentteja tarkennettu.

Tulossa:  

• Automaattinen arviointi, nbgrader tai vastaava
• Automaattinen image builder

Aktiiviset käyttäjät kvartaalettain ja käyttäjäryhmittäin

929

642

532

632

42

70

29

Kuukausittaiset Noppe laskentaympäristön käynnistykset

Kuukausittaiset aktiivisten käyttäjien määrät Noppe ympäristössä

Tarkastelujakso 1.9.-31.12.2024

Paituli käyttötilastot:

1.9.2024 - 31.12.2024

1.1.2024 - 31.12.2024

• Saatavuus 99.99%. 

Uutta:

• Paituli:
  • Paituli vuosiraportti
    • Historiallisten karttojen lisäys keväällä on lisännyt merkittävästi käyttäjä- ja latausmääriä
    • Uuden STAC-rajapinnan käyttö on selvässä nousussa.
  • Tilastokeskuksen kuntien avainluvut vuosipäivitys
  • Paituli FMI aineistojen vuosipäivitys
  • Historialliset kartat ja LUKE MVMI STAC:iin.
  • Paituli backend vuosipäivitys ja ladattavan paketin kokorajoituksen lisäys
• HPC: 
  • Uusia asennuksia:
    • Puhti: geoconda, GDAL
    • LUMI: geoconda
  • Työvuo-työkalujen selvitys graduna ja ohjeina CSC:n Docs sivuilla
• ArcGIS
  • ArcGIS vuosiraportti
  • ArcGIS: ESRI Finland katu- ja tieverkko aineiston vuosipäivitys
  • ArcGIS: lisenssimanageriin 2025 tilapäiset lisenssit
• Koulutus
  • "Geocomputing on supercomputer" kurssi 9-10.10.2024
  • GIS@CSC newsletter
  • STAC esitys devALPO tapahtumassa 12.11.2024

Tulossa:

• Puhti: OpenDroneMap päivitys
• Puhti: Metsäkeskuksen latvusmallin päivityksen automatisointi
• LUMI: graafiset GIS-työkalut saatavilla LUMI web käyttöliittymän kautta
• ArcGIS: lisenssimanageriin 2025 lisenssit
• Geospatial Challenge Camp mentorointi
• Työpaja "STAC how to find and use spatiotemporal data easily?" 12.3.2025
• Paituli: Metax päivitysskriptien muutos versioon 3
• Paituli: GeoServerin asetusten arviointi ulkopuolisen konsultin kanssa ja versiopäivitys
• Paituli: STAC päivitysskriptien kehittäminen helpommin ylläpidettäväksi
• Itseopiskelukurssi "Introduction to Python GIS" Noppessa.

Tarkastelujakso 1.9.-31.12.2024

• Asiakastunnusten tuen (CAM) tiketit: 1748 tikettiä kaiken kaikkiaan (edellinen kausi 1509)
  • Tikettimäärä jatkuu suurena (koko vuoden tikettimäärät 2019: 3402, 2020: 3723, 2021: 5232, 2022: 4785 ja 2023: 5110)
    
    • LUMI-asiakastunnustuessa 280 tikettiä (edellinen kausi 219 tikettiä)
• Tieteellisten resurssien jaon (RJR) hakemukset:
  • Hakemuksia 980 (edellinen kausi 1041), joista Small-luokan hakemuksia 632 (edellinen kausi 638), Medium-hakemuksia 259 (edellinen kausi 290) ja Large-hakemuksia 83 (edellinen kausi 84)
  • Haettujen resurssien määrä 838 849 975 BU, myönnettyjen resurssien määrä 678 470 974 BU
  • Opiskelijaprojekteja avattiin raportointikaude 217 kpl ja kurssiprojekteja 41
    • Opiskelija- ja kurssiprojektit tuotu uusina projektityyppeinä tukemaan mm. korkeakoulujen kurssitoimintaa, sekä opiskelijoiden toimimista PI-roolissa kurssiprojektissa, jossa tehdään esim. harjoitustöitä tai opinnäytteitä
  • RJR:lle on kehitetty uusi joustavampi ja automatisoidumpi työkalu resurssihakemusten käsittelyyn, jotta RJR-prosessi kykenee paremmin vastaamaan hakemusmäärän kasvuun. Tilastonumerot tulevat suoraan ko. työkalun automaatioista.

Customer Account Management tikettimäärät 2021-2024

Resurssienhallintaprosessin tikettimäärät 2021-2024

Tarkastelujakso 1.9.-31.12.2024

Palvelun saatavuus

• AAI-proxy (user-auth.csc.fi), 100% Q2/2024
  
• External user management (IdM), unavailable Q2/2024

Käyttäjämäärät

• Aktiiviset käyttäjätunnukset (sis. tekniset tunnukset, koulutustunnukset, admin-tunnukset ja CSC:n henkilökunnan tunnukset) sekä aktiiviset akateemiset laskentaprojektit:

7077

3315

8302

3482

• Muita huomioita
  • Poimintoja tunnuksista tyypeittäin: kansainvälisiä tutkimuskäyttäjiä 613 (ed. kausi 610), kaupallisia käyttäjiä 333 (ed. kausi 327), tutkimuslaitoskäyttäjiä 764 (ed. kausi 758), kansainvälisiä Lumi-käyttäjiä 3074 (ed. kausi 2799) ja opiskelijatunnuksia 3090 (ed. kausi 2551).
  • Poimintoja projekteista tyypeittäin: kaupallinen käyttö 242 (ed. kausi 245), suomalainen Lumi-käyttö 384 (ed. kausi 337) ja kansainvälinen Lumi-käyttö 862 (ed. kausi 662) projektia
• Datat poimittu viikkoraportista 2024-12-31

Palvelukohtaiset käyttäjämäärät postilistojen kautta, tammikuu 2024:

• All-csc-users 13252 (edellinen kausi: 12076)
  
• Compute-server-users 5415 (edellinen kausi: 4983)
• Puhti-users 5251 (edellinen kausi: 4842)
• Mahti-users 2567 (edellinen kausi: 2308)
• Pouta-users 2406 (edellinen kausi: 1883)
• ePouta-users 210 (edellinen kausi: 208)
• Rahti-users 1163 (edellinen kausi: 1022)
• Allas-users 4296 (edellinen kausi: 4002)
• Pukki-users 204 (edellinen kausi: 135)

IdM Done & Roadmap

• Done:
  • Non-Haka user registration process, additional development
  • Quota notifications (e.g. when project runs out of quota)
  • Implement functionality for additional roles, such as: FUNET, vice PI and customer organisation admin for HEISIDE project
• Roadmap:
  • Plan and implement further improvements to Non-Haka accounts lifecycle process
  • Implement Self-service account re-activation
  • Prototype for the improved key-based authentication to computing services
  • Additional security developments

Tarkastelujakso 1.9.-31.12.2024

Palvelun saatavuus

• Rahti (ko. alustalla ajettava MyCSC), Q4/2024 99,85%
• MyCSC took the new Rahti environment into use during the reporting period

Käyttö

• https://my.csc.fi/reports
• These reports show quite stabilised usage for key MyCSC functionalities (for example, new CSC resource application)

MyCSC Done & Roadmap

MyCSC is actively developed in CSC, in an Agile portal development team. Team also develops and supports CSC Design System and CSC Statistics service (Reppu) API.

MyCSC, Done

• Migrated completely to new Rahti 
• Various organization user role management adjustments
• Reppu API token management and creation for external oganization use, further development
• UX redesign for some of MyCSC components

MyCSC, Roadmap H1/2025

• Identity vetting renewal
• CSC billing unit renewal, new production views and UIs
• CSC Design System updates
• Participation to some international collaboration projects