Page History

Tarkastelujakso 1.5.-31.8.2021 

• • Verkon käyttömäärät
    • Ulkomaat
      • Liikennemäärä ulkomaille pysynyt vakaana pientä kuukausittaista vaihtelua lukuun ottamatta:

• • • Kotimaa
      • Kotimaan liikennemäärä pysynyt myös vakaana, kesän jälkeen liikennemäärät lähteneet normaaliin kasvuun. Suurimmat piikit Ficix-yhdysliikennepisteissä luultavasti nähtiin keväällä Funet Miitti Zoomin käytön ollessa kiivaimmillaan:

• • Verkon ja sen palveluiden laatu/saatavuus
    • Yhteyspalveluiden laatu ja saatavuus säilynyt hyvällä tasolla. Kuitukatkot eivät ole aiheuttaneet katkoa palveluihin.
    • Elokuussa oli laitevika Seinäjoella ja sähkökatko Helsingissä, joista aiheutui lyhyt katko paikallisille Funet-yhteyksille
  • Asiantuntijatuki RT servicedeskin kautta tikettien määränä kuukausittain:

Tarkastelujakso 1.5.-31.8.2021

• • Funet-verkon tietoturvatilanne on ollut tarkastelujaksolla normaali. Funet CERT vastaanotti ja käsitteli tavanomaisen määrän haavoittuvuusilmoituksia. Funet Tutkain -palvelun saavutettavuus oli hyvällä tasolla.

Tarkastelujakso 1.5.-31.8.2021

• • Verkkovierailupalvelu eduroamin käyttö on jatkunut tarkastelujaksolla "uuden normaalin" mukaisella tasolla. Etätyöskentelyn ja -opiskelun suuren määrän takia eduroam-verkkovierailujen kokonaismäärä jää edelleen kuukausittain hieman reiluun miljoonaan kirjautumiseen, ollen noin puolet verkkovierailujen määrästä aikaan ennen pandemiaa. CSC on jatkanut maltillisia ponnisteluja eduroam-peittoalueen edelleenlaajentamiseksi Suomessa. 

Tarkastelujakso 1.5.-31.8.2021

Fairdata-verkoston toiminta

• Fairdata-verkoston toiminta parantaa yhteistyötä ja tiedonkulkua Fairdata-palveluja (IDA, Qvain, Etsin, Metax, Fairdata PAS) sekä Tiedejatutkimus.fi:n tutkimusaineistotietoja hyödyntävien organisaatioiden ja CSC:n välillä.
  
  • Tiedonvälitys myös datatukiverkoston ja koulutustoiminnan välillä.
• Verkoston sähköpostilistalla 110 henkilöä 38 eri organisaatiosta.
• Fairdata-verkostolle järjestetty tarkastelujakson aikana kokous 20.5. sekä Tutkimusaineistojen metatietojen haravointi -työpaja 9.6.

Viestintä

• Fairdata.fi-sivustolla ja Twitterissä tiedotettu mm. IDAn käyttöpolitiikan muutoksesta ja käyttöehtojen päivityksestä, ajankohtaisista tapahtumista sekä CSC:n tuottamista datanhallinnan ohjevideoista sekä digitaalisen pitkäaikaissäilytyksen edistymisestä.
• Fairdata.fi-sivuston julkista muutoslokia päivitetty kaikkien ulospäin näkyvien palvelumuutosten osalta ja palvelujen käyttöoppaat pidetty ajan tasalla.

Käyttöpolitiikat ja käyttöehdot

• IDAn käyttöpolitiikkaa uudistettu ja käyttöehtoja tarkennettu 1.7.2021. Merkittävimmät muutokset ja lisäykset:
  • Käyttöehdot edellyttävät IDAan tallennetun datan kuvailua nimenomaan Etsin-hakupalveluun
  • Käyttöpolitiikasta poistettu Suomen Akatemian rahoituspäätökseen perustuvan IDA-käyttöoikeuden ja OKM:n erillismyöntönä saatavan IDA-käyttöoikeuden hakemisen (ja jatkamisen) mahdollisuus. Nykyiset näiden käyttöoikeuksien alaiset projektit siirretään kotiorganisaatioidensa käyttöoikeuden alaisiksi syksyllä 2021.
  • Käyttöpolitiikkaan lisätty maininta siitä, että CSC käsittelee organisaatioiden lisäkäyttöoikeusanomukset palvelun omistajan OKM:n valtuuttamana.

Asiantuntijatuki Servicedeskin kautta

IDA-, Qvain-, Metax- ja Etsin-palveluihin liittyvät ratkaistut Servicedeskin kautta tulleet tukipyynnöt kuukausittain vuosina 2020 ja 2021. Tarkastelujakson aikana touko-elokuussa palvelujen tikettijonossa on käsitelty yhteensä 56 tukipyyntöä.

Tarkastelujakso 1.5.-31.8.2021

Fairdata-palvelujen kävijämäärät (selainkäyttöiittymä)

Evästeetön web-analyytikka seuraa päivätasolla uniikkeja kävijöitä fairdata.fi-verkkosivustolla sekä IDA-, Etsin- ja Qvain-palvelujen selainkäyttöliittymissä. Kävijöitä kaikissa näissä verkkopalveluissa yhteensä keskimäärin noin 120 päivässä arkisin ja noin 20 päivässä viikonloppuisin.

• Avaa.tdata.fi-palvelun uudelleenohjaus fairdata.fi/avaa-sivulle 01/2021 näkyy Fairdata.fi-sivuston korkeampina kävijämäärinä vielä touko-kesäkuussa.
• Kesälomakausi laskee tarkastelukauden päiväkohtaisten kävijämäärien keskiarvoja.

IDA, Etsin, Metax, Qvain - Katsaus tuotantoon

Palveluiden saatavuus

Tarkastelujaksossa palveluiden saatavuus on ollut erinomainen:

• IDA 99,99%
• Etsin 99,99%
• Metax 99,85%"

• Qvain 99,99%

IDA- Tutkimusdatan säilytyspalvelun käyttö

• Yllä oleva kuvaaja kattaa palvelun käytön vuoden 2015 lopusta elokuuhun 2021

• IDAa käyttävien projektien määrä on 397 (kasvua 7 % edelliseltä tarkastelujaksolta). Projekteissa on aktiivisia IDA-käyttäjiä 878 (kasvua 6 % edelliseltä tarkastelujaksolta).
  
  • Projekteista 16 on suljetussa tilassa tai projektin vastuuhenkilön tunnus ei ole aktiivinen.
  • Kaikesta datasta alle 4 teratavua (alle 0,4%) kuuluu projekteille, jotka ovat suljetussa tilassa tai joiden vastuuhenkilö ei ole aktiivinen.
  • Tarkastelujakson aikana 4 projektia on poistettu palvelusta vastuuhenkilön pyynnöstä.
• Dataa on noin 1033 teratavun edestä (kasvua 5 % edelliseltä tarkastelujaksolta). Kaikesta datasta 492 teratavua eli 48 % prosenttia on jäädytetty.

IDA - Tutkimusdatan säilytyspalvelu - Palvelun käyttö organisaatioittain 08/2021

 IDA-palvelu on käytössä 31 eri organisaatiossa. Tarkastelujakson IDAa käyttävät projektit jakautuvat sektoreittain seuraavasti:

Etsin - Tutkimusaineistojen hakupalvelu

Aineistojen kokonaislukumäärä ajanjaksolla 2016–08/2021

Uusien aineistojen lukumäärä kuukausittain 2019-08/2021

Julkaistujen aineistojen määrät:

• Uusia aineistoja 01-08/2021: 339
• Kuvailutyökalun avulla: 127
• Haravoinnin ja APIn kautta: 211

IDA, Etsin, Metax, Qvain - Katsaus kehitykseen

Fairdata-palvelujen yhteiset kehityskohteet

• Käyttäjäkokemuksen parantaminen:
  
  • Anonymisoitu evästeetön verkkosivukävijäanalytiikka käytössä IDA- ja Etsin-palveluissa, Qvain-työkalussa ja Fairdata.fi-verkkosivustolla.
• Laadunvarmistus:
  • Fairdata-palvelujen ohjelmistojen kehitys- ja julkaisuprosessin tehostamiseen tähtäävät toimenpiteet on aloitettu ja työ etenee odotusten mukaisesti.
  • Tavoitteena 2021 yksinkertaistaa kehitystyötä minimoida manuaalinen työ tehokkuuden lisäämiseksi ja laadun parantamiseksi.
    • Kehitysympäristöjen kontittaminen valmis Etsin, Metax & Qvain osalta. IDAn osalta vielä työn alla.
    • Ansible pelikirjat ja roolit valmiit kaikkien palvelujen osalta
    • Automatisoidut CI&CD putket viimeistelyä vaille valmiit
    • Julkaisuprosessin säännöt päivitetty ja dokumentoitu
    • Riippuvuuksien hallintatyökalun käyttöönotto työn alla
    • Kattavan integraatestauksen suunnittelu ja toteutus työn alla

IDA kehitys

• Q4/2020 hankittu 4 HPE Apollo 4510 Gen10 -palvelinta ja 1.78 PiB levyä korvaamaan IDAn vanhemmat edustapalvelimet ja niiden tallennuskapasiteetin. Palvelinten asennustyöt ja datansiirto vanhoilta palvelimilta tehty, palvelimet valmistauduttu ottamaan käyttöön heti Q3/2021 alussa.
• Mahdollistettu projektin säilytystilan koon muuttaminen (lisätilan haku, tilan pienentäminen) MyCSC-asiakasportaalin kautta 08/2021
• Palvelun sisäisiä automaattisia prosesseja, ohjelmistoversioiden valvontaa ja laadunvarmistusta parannettu
• Parannuksia selainkäyttöliittymän käytettävyyteen, pieniä bugikorjauksia

Etsin kehitys

• Uudistettu Etsimen viittaus-toiminnallisuus, luo nyt automaattisia viitteitä perustuen kuvailutietoihin 05/21
• Yhtenäistetty tunnisteiden käyttöä ensisijaisesti URL-formaatissa käyttöliittymässä 05/21
• Lisätty tuki aineistolatausten tekoon komentorivityökaluin 06/21
• Lisätty tuki sähköposti-ilmoituksille liittyen aineistolatausten generointiin 06/21

Qvain kehitys

• Uudistettu suurin osa Qvaimen käyttöliittymän sisältämästä tekstistä ja ohjeistuksista (yhdenmukaistettu ohjeistusta aiemmin uudistettuun käyttöoppaaseen nähden) 06/21

Metax kehitys

• Lisätty tuki Metax rajapintaan ns. legacy -aineistoille 06/21
• Päivitetty dokumentaatiota Metax rajapintaan liittyen 06/21
• Tehty yhteistyötä AMK:ien Reportronic-palveluun suunnitteilla olevan Metax-integraation toteutukseen liittyen
  

Tutkimukseen liittyvien aineistojen digitaalinen pitkäaikaissäilytys (Fairdata PAS-palvelu)

CSC on tarkastelujaksolla edistänyt tutkimukseen liittyvien digitaalisen aineistojen pitkäaikaissäilytystä OKM:n kanssa asetettujen tavoitteiden mukaisesti. Tämä tarkoittaa säilytykseen jo hyväksyttyjen aineistojen vaalimista, uusien käyttöönottojen tukemista sekä hallinnollisesti että teknisesti, sekä toiminnan jatkuvaa kehittämistä vastaamaan paremmin korkeakoulujen ja tutkimuslaitosten aineistojen säilyttämisen tarpeita.

Vuonna 2021 toteutuneita toimenpiteitä ovat esim.:

• OKM:n säilytyspäätöksien mukaisten aineistojen eheyden, käyttökelpoisuuden ja autenttisuuden vaaliminen
• Uusien säilytyspäätöksien mukaisesti organisaatioiden tukeminen hallinnollisesti ja teknisesti palvelun käyttöönotossa
• Hyödyntävien organisaatioiden toivomat määrittelymuutokset huomioitu
• Demoympäristön toteuttaminen
• Integraatiopäivitys muihin Fairdata-palveluihin
• Rajapintakomponentti PAS-palvelun REST-rajapinnan automaattiseen hyödyntämiseen
• Paketointipalvelun tuki kaikille PAS-palveluun toteutetuille tiedostomuodoille
• Paketointipalvelun siirto uuteen laitealustaan
• Python3-kehitysympäristöön siirtyminen
• Tiedostomuotojen luokittelu tiedostojen analysointikomponentissa
• Erilaisia pieniä bugikorjauksia ja muita tehtäviä

Tarkastelujakso 1.5.-31.8.2021

CSC RDM Competence Centerin ja viestinnän kehittäminen

Toimintaa on kehitetty edelleen palvelun tarkemman määrittelyn ja tuotteistusprosessin myötä.

Tutkijoille suunnattujen verkkosivujen kehittäminen

• sisällön selkiyttäminen verkkosivuilla research.csc.fi 
• tarkempien ohjeiden täydentäminen Docs-alustalle vastinpariksi verkkosivujen yleiselle materiaaleille

Asiantuntijoille ja tutkijoille tarkoitetut koulutukset ja aineistot

Työpaja Jyväskylän kiihdytinlaboratorion tutkijoille datanhallinnasta ja Fairdata-palveluiden käytöstä 7.5.2021, 4 tutkimusryhmää, 42 osallistujaa

Ethän rahoita kertakäyttödataa? Datanhallinnan koulutus säätiöiden edustajille 18.5.2021, 25 osallistujaa     

Datakoulutukset -työryhmän kesäpäivä, työpajan järjestäminen ja esitykset työryhmän jäsenille tutkimuksen toistettavuudesta ja toistettavuustyökalujen käytöstä 16.6.2021, 60 osallistujaa   

Managing files and file naming video, 90 katselua. Tässä videossa kerromme tiedostojen hallinnasta ja nimeämisestä. (Tutkimustiedonhallinta Fairdata PAS-kontekstissa)

RDM koulutusmateriaalien tuottaminen ja päivittäminen tutkijoiden ja tutkimusorganisaatioiden käyttöön sekä kansainvälisten datanhallinnan hyvien käytäntöjen skaalaaminen kansallisiin tarpeisiin (esim. eLena johdantokurssi tekeillä). 

Datatukiverkosto

• Organisaatioita mukana 27
• Sähköpostilistalla 107 jäsentä
• Chat-käyttäjiä 92
• Kuukausittaiset datakahvit, osallistujia 15-30 eri organisaatioista
• Koulutuksia ei pidetty kesäkuukausina. Tulossa Sensitive data services workshop 14.9.2021

Tarkastelujakso 1.5.-31.8.2021

• tuettu projekteja ja infroja datanhallinnan suunnittelussa sekä FIRI-hakujen tekemisessä
• edistetty PAS-tuntemusta ja prosessien suunnittelua
• General Finnish DMP Guidance 2021 ohjeen päivttämiseen osallistuminen
• Science Europen DMP-ohjeen lokalisointi-työryhmä: FINNISH DMP EVALUATION GUIDANCE 2021
• Tieteenalakohtaisten tiimien työ CSC:n sisällä paremman asiakastuen varmistamiseksi
• Loppukäyttäjätuki palveluiden valinnassa ja hyödyntämisessä (#datamanagement jono)

Tarkastelujakso 1.5.-31.8.2021

• Aineistonhallinnan suunnittelun (DMP) edistäminen

  • Valmisteltu uutta DMP-konsortiota asiakkaiden kanssa
  • Selvitelty CSC:n omia prosesseja ja tarpeita DMP:hen liittyen
  • Tuotu elinkaaren hallinta ja DMO:n työosuuksien suunnittelu mukaan CSC:n rahoitushakuihin ja hankkeiden suunnitteluun.

  Yhteentoimivuuden edistäminen

  • Laadittu datansäilytyspolitiikka (asiakkaiden sisältö)
  • Selkeytetty yleisiä käyttöehtoja
  • Käyttäjätarpeiden ja käyttökokemukseen liittyvää selvitystyötä, mm datan siirrot palveluiden välillä ja dynaaminen data
  • Datan siirtäminen Altaasta IDAan otettu kehityskohteeksi selvityksen perusteella
  • Avoimen tieteen koordinaation Aineistotyöryhmässä edistetty FAIR-periaatteiden implementaatiota

  PID palvelut

  • PID-verkosto tapasi 1.6.2021, 29 osallistujaa
  • DataCite-konsortio, sopimuspohjan uusiminen, uusien jäsenten sopimusprosessin hoitaminen
  • PID-mikropalvelu

  Allaskoordinaatio

  • Altaan käyttötapausten, toiminnan ja tuen toimintatapojen sekä tiekartan haltuunotto, palvelun tulevan tuotteistamisen pohjaksi

Tarkastelujakso 1.5.-31.8.2021

• CSC uusien Sensitive Data (SD)  -palveluiden SD Connect ja SD Desktop beta julkistus 28.6.2021.
  
  • Loppukäyttäjien dokumentaation valmistelu ja käyttäjiltä saadun palautteen mukaiset parannustoimet
  • Loppukäyttäijen tuki palveluiden käyttöön ottamisessa
• Organisaatioiden data- ja IT-tukipalveluiden henkilöstön kouluttaminen uusien SD-palveluiden osalta 25.5.2021
• Loppukäyttäjien koulutus (1.6.2021, 210 osallistujaa korkeakouluista, neljännes osallistujista edusti organisaatioidensa datatukea, osallistujille jaettu aineisto) 
• SD-palveluiden viestintämateriaalin valmistelu erilaisille kuluttajaryhmille, ml. organisaation johtajat ja loppukäyttäjät. 
• Arkaluonteisen tutkimusaineiston käsittely CSC:n suurteholaskennan järjestelmissä (Mahti/Puhti) - kehitystyö nykyisten palveluiden laajentamiseksi käyttäen singularity kontteja ja konttien suojaus kryptaamalla. 
• Kahden uuden SD-palvelun kehitystyön ja palvelumallin selkeyttäminen: SD Apply ja SD Submit.

Tarkastelujakso 1.5-31.8.2021

Käyttäjien lukumäärä

Käyttäjien kokonaismäärä on vuonna 2021 jatkanut kasvuaan. Alla olevassa taulukossa on kuvattu aktiivisten käyttäjien määrä CSC:n palveluissa, mukaanlukien IDA. Aktiivinen käyttäjä tarkoittaa tässä käyttäjää, jolla on voimassa oleva tunnus. Reilussa puolessa vuodessa käyttäjämäärät ovat nousseet 5-17 % kaikissa kolmessa asiakassegmenteissä. Varsinkin tutkimuslaitosten tutkijat ovat löytäneet CSC:n palveluja entistä enemmän.

Laskentapalveluiden käyttäjämäärät on myös jatkanut kasvuaan vuoden 2021 aikana. Varsinkin Puhdin CPU-resurssit ovat erittäin monien asiakkaiden käytössä. Tämä on linjassa palvelun luonteen kanssa, siten että siinä lasketaan painottuu pienten ja keskisuurien laskujen suorittaminen, toisin kuin Mahdissa, missä suuret ja keskisuuret laskut ovat painottuneet. Pienin resurssi mitä Mahdissa voi käyttää on 128 laskentaydintä  (yksi laskentasolmu), mikä on suurempi resurssi kuin mitä monet pienet käyttäjät voivat hyödyntää. Kesän aikana on odotetusti laskua käyttäjämäärissä, mutta syyskuussa käyttö on taas kasvussa. Käyttäjistä, jotka käyttävät GPU:ita (eli Mahti-AI ja Puhti-AI) käyttävät usein myös CPU-resursseja. Samalla on merkittävä määrä, jotka käyttävät pelkästään kiihdytettyä laskentaa. Mahdin käyttäjälukumäärät on hyvässä kasvussa, ja on jo noin kaksinkertainen vuoden takaiseen jolloin palvelu avautui.

Laskentapalvelujen käytettävyys ja käyttöaste

Laskentapalvelimien käyttöaste on vuoden 2021 aikana ollut tasainen. Vuoden 2020 syksyllä Puhdin käyttöaste putosi samalla kun Mahti otettiin tuotantokäyttöön elokuun lopussa. Mahdissa on noin 179000 laskentaydintä, ja näin merkittävä laskentakapasiteetin kasvu paransi merkittävästi tutkijoiden käytökokemusta, entistä isommat tehtävät ovat mahdollisia suorittaa ja resursseja ei tarvitse jonottaa kohtuuttoman pitkään. Tämä hyvä tilanne on jatkunut, koneet ovat kovassa käytössä, mutta samalla jonotusajat ovat maltilliset ja asiakaskokemus hyvä.

Puhti

Graafi esittää Puhdin laskentaytimien käyttö ajan funktiona. Kuvassa on myös esitetty jonot, jotka kuvaavat minkälaisia resursseja tutkija on tarvinnut. Maksimimäärä laskentaytimiä Puhdissa on 27280. Ajanhetket, missä on pienempi kuorma, ajoittuu yleensä viikonloppuihin, lomakausiin tai huoltokatkoihin.

Puhdin jonotusaikoja tarkistetaan seuraavassa kuvaajassa kahden kvantiilin avulla. Jokaisena ajanhetkenä on laskettu 50 % ja 95 % kvantiilit edellisestä 24 tunnista. 50 % graafi kuvaa, että tätä nopeammin puolet ajoista ovat menneet ajoon siitä ajanhetkestä kun ne ovat laitettu jonoon. 95 % kvantiili vuorostaan tarkoittaa että 95 % töistä ovat menneet ajoon tätä nopeammin.  Jonotusajat ovat olleet varsin maltillisia joitain poikkeushetkiä lukuunottamatta. Kesäkuun jonotusaika johtuu huoltokatkosta jonka aikana jono luonnollisesti ei etene.

Graafi esittää Puhdin GPU-käyttö ajan funktiona. Kuvassa on myös esitetty jonot, jotka kuvaavat minkälaisia resursseja tutkija on tarvinnut. Maksimimäärä GPUita Puhdissa on 320. Ajanhetket, missä on pienempi kuorma, ajoittuu yleensä viikonloppuihin, lomakausiin tai huoltokatkoihin. Tässä näkyy myös katko kesäkuussa, jolloin uusia töitä ei enää käynnistetty ja kone tyhjentyi.

Jonot GPU-resursseihin on kuvattu alla olevassa graafissa. Keskimäärin näihin resursseihin on ollut pidemmät jonot kuin CPU-resursseihin.

Mahti

Graafi esittää Mahdin laskentaytimien käyttö ajan funktiona. Kuvassa on myös esitetty jonot, jotka kuvaavat minkälaisia resursseja tutkijat ovat tarvinneet. Maksimimäärä laskentaytimiä Puhdissa on 179712. Ajanhetket, missä on pienempi kuorma, ajoittuu yleensä viikonloppuihin, lomakausiin tai huoltokatkoihin. Esimerkiksi Toukokuun alun huoltokatko näkyy sekä jonotusajassa että käyttöprosentissa. Jonotusajat ovat pääsääntöisesti olleet maltillisia tai erittäinkin lyhyitä.

Mahdin GPU resurssien käyttöasteet sekä jonotusaikatilastot. Syksyn aikana CSC on ryhtynyt toimenpiteisiin varmistakseen että Mahdin GPUt saadaan tehokkaampaan käyttöön.

Laiteinvestoinnit

2021 alkuvuoden aikana Puhtiin ja Mahtiin on tehty kaksi merkittävää laajennusta.

Puhtiin on hankittu viisi yleiskäyttöistä palvelinta, joissa on nopeat ethernet kytkentä internettiin, ja lisäksi suora pääsy Puhdin kytkentäverkkoon. Lisäksi näissä tehopalvelimissa on suuri määrä paikallista levyä. Näiden palvelimien on tarkoitus toimia alustana, joilla voidaan ajaa uusia palveluja liittyen www-käyttöliittymiin, tietokantoja, ja parantaa kyvykkyyttä monitoroida järjestelmän käyttöä.

Mahtiin on hankittu 24 uutta GPU-laskentasolmua, eli Mahti-AI (https://www.csc.fi/-/mahti-ai-opened-to-boost-ai-research). Näissä laskentasolmuissa on viimeisintä GPU-teknologiaa, ja kukin laskentasolmu on siten nopeampi ja kyvykkäämpi kuin vaastava Puhti-AI solmu. Tarkat tekniset spesifikaatiot yhdelle laskentasolmulle ovat:

• kaksi AMD Epyc Rome 7H12 -prosessoria (CPU) 
• neljä seuraavan sukupolven NVIDIA Ampere A100 -prosessoria (GPU)
• 512 GB muistia CPU:lle ja 160 GB muistia GPU:lle (40 GB kutakin GPU:ta kohti)
• 3,8 TB paikallista Nvme-tallennuskapasiteettia
• Kytkentäverkossa kaksi 200 Gbit/s yhteyttä.

Näitä laskentasolmuja hankittiin vastaamaan koneoppimistutkijoiden kasvaviin tarpeisiin ja mahdollistamaan laskennallisia menetelmiä, missä tarvitaan sekä CPU- että GPU-kapasiteettia. Mahti-AI:n teoreettinen laskentateho on jopa hiukan isompi kuin edellisen supertietokoneen Sisun laskentakapasiteetti.

Tarkastelujakso 31.5-1.8.2021

• Asiakastikettien koordinaatio CSC:n sisällä, asiakastoiveiden siirtäminen kehityksen tiekartalle ja loppukäyttäjien dokumentaation parantaminen
• Altaaseen kohdistuvien suurten resurssivaatimusten koordinaatio CSC:ssä sekä nykyisten resurssipolitiikkojen päivittäminen
• Allas -palvelun tuotteistaminen komponenttina muiden CSC palveluiden taustalle
• Altaan hyödyntäminen arkaluontoisten datanhallinnan palveluissa

Altaan saatavuus

Tarkastelujakson aikana ei ole ilmennyt odottamattomia katkoksia ja Allas on ollut tutkijoiden käytettävissä 100%.

Altaan datamäärät ja käyttöaste

Altaassa oli vuoden 2021 alussa säilytetty 2,7 PiB dataa ja datan määrä on tarkastelujakson aikana kasvanut edelleen 3,1 PiB:stä 4,9 PiB:hen. Alla olevasta taulukosta näkee datamäärän ja Altaan käyttöaste, joka kuukauden ensimmäisenä päivänä.

Altaan käyttäjät

Tarkastelujakson aikana 673 akateemista projektia käyttivät Allasta. Vertailun vuoksi voidaan todeta että Altaan käyttäjinä vuoden 2020 aikana oli yhteensä 551 akateemista projektia.

Tarkastelujakson projektit jakautuvat sektoreittain seuraavasti:

Datamäärän jakautuminen projektien kesken

Alla olevasta kuvasta näkyy ne kymmenen organisaatiota, joiden akateemisilla projekteilla oli eniten dataa Altaassa tarkastelujakson lopussa.

Kun projekti tulee Altaan käyttäjäksi, sille myönnetään 10 TiB säilytystilaa vuodeksi. Lisää säilytystilaa resurssijakoryhmä jakaa lähtökohtaisesti 50 TiB:hen asti automaattisesti, vuodeksi kerrallaan. Alla olevasta kuvasta näkyy että tällä hetkellä 91% projekteille riittää 10 TiB hyvin, 8% säilyttää 10-50 TiB dataa Altaassa ja ainoastaan 1% enemmän kuin 50 TiB.

CSC:n tuki Altaan käyttäjille

CSC:n tuki Altaan loppukäyttäjille on järjestetty CSC:n yleisen asiakaspalvelun kautta (servicedesk@csc.fi) ja yhteydenotot dokumentoidaan CSC:n tikettijärjestelmään. Vuoden 2020 aikana on dokumentoitu 221 asiakasyhteydenottoja Altaan liittyen. Tarkastelujakson aikana on vastattu 51 yhteydenottoon, ja vuoden 2021 aikana tähän asti 115 yhteydenottoon.

2021

• Tehtyä (vuosi 2021):
  • Yksinkertaisiin työvuotarpeisiin otettiin käyttöön uusi avoimen lähdenkoodin ratkaisu: Greasy. Dokumentaatio: https://docs.csc.fi/computing/running/greasy/
  • Kompetensseja monista työvuomenetelmistä on kehitetty, ja näitä on jo sovellettu pilootti asiakasprojekteissa.
  • Mahti-AI käyttöönotto aikataulun mukaisesti mukaan lukien asiakaslaskutuksen (Billing Unit kulutus) määritteleminen ja implementointi, ohjelmistoasennukset, käyttäjädokumentaatio sekä asiakastiedotus.
    • Uutiset: https://www.csc.fi/-/mahtiin-ja-epoutaan-lis%C3%A4tehoa-gpu-noodeilla ja https://www.csc.fi/-/mahti-ai-opened-to-boost-ai-research. Nämä uutiset ylittivät myös kansainvälisen uutiskynnyksen, ja esim. HPCWire on  huomioinut Mahdin laajennuksen: https://www.hpcwire.com/off-the-wire/mahti-ai-opened-to-boost-ai-research/
    • Mahti-AI:n käyttödokumentaatio: https://docs.csc.fi/
  • Suuri määrä parannuksia ja korjauksia laskentaympäristöön, jolla parannetaan toiminnallisuutta ja korjataan todettuja ongelmia
• Käynnissä:
  • www-käyttöliittymän lisääminen Puhti-supertietokoneelle. Tämä käyttöliittymä rakennetaan Open on Demand avoimen lähdekoodin platformin päälle (https://openondemand.org/), ja se mahdollistaa muun muuassa tiedostojen käsittelyn, graafisten ohjelmien ajamisen suoraan selaimen kautta, sekä töiden ja projektitiedon käsittelyn graafisella käyttöliittymällä. Avataan lokakuussa.
  • Sensitiivisen datan tukea suurteholaskennan alustoilla kehitetään, fokuksena datan kryptaus, sekä laskennan ja datan riittävä eristäminen.
  • Singularity konttien käyttöönoton edistäminen. Parempi tuki monien noodien ajoille sekä parannuksia pienten tiedostojen käyttöön
  • Monipuolisia, mutta myös monimutkaisia, työvuoratkaisujen pilotointia käyttäen asiakkaiden oikeita käyttötapauksia.
• Tulossa
  • www-käyttöliittymä tuotannossa Puhdissa, ja Mahdin vastaavan käyttöliittymän testiasennus.

2021 - 2026

Nykyiset supertietokoneet palvelevat Suomen tiedettä noin vuosiin 2025 - 2026 asti. Koneiden elinkaaren loppuminen riippuu sekä mahdollisista lisäinvestoinnista jotka nostaisivat niiden tehokkuutta sekä jatkovuosien kustannuksista verrattuna koneiden suhteelliseen laskentakapasiteettiin. Selvää on kuitenkin että vuosien 2025-2026 aikana on tarve uudelle kansalliselle supertietokonekapasiteetille.

Kuvassa esitetään palveluiden elinkaari. Vihreällä olevat alueet ovat tavallista tuotantoaikaa. Keltaisella merkityt alueet ovat joko rajoitettua käyttöä tai käyttö vaatisi lisäinvestointia tai tuen jatkamista. www.Puhti ja www.Mahti viittaa tässä suunniteltuun www-käyttöliittymän käyttöönottoon.

Tarkastelujakso 31.5.-1.482021

Koulutustapahtumia:

• "Available resources at CSC for Abo Akademi" (ENG, 2 tuntia) (Syyskuu)

• "Dockers in modern comuting at Oulu University" (ENG, 15 minuutit) (Syyskuu)

Rahti-sovellusluettelo. Lisätty kahta sovellusta: Graphana and Prometheus, and JupyterHub.

Asiantuntijatuki servicedeskin kautta:

Pilvipalvelupyynnöt sisältävät sekä rahti- että cPouta -pilvipyyntöjä. Tapausten huippu elokuussa ja syyskuussa 2020 johtuu vanhentuneista tileistä ja hankkeista. Joka lukuvuosi luodaan paljon projekteja ja tilejä. Hankkeet päättyvät normaalisti 12 kuukauden kuluttua. Huippu tammikuussa 2021 johtuu Racker -tiimin helmikuussa ratkaisemista "docker hub" rajoituksista. 

Tarkastelujakso 1.5.-31.8.2021

Ohjelmistokäyttö Puhdilla

Miten kuvaajat on laadittu?

Eri ohjelmistot laskentapalvelimilla otetaan käyttöön ohjelmistomoduleilla. Alla olevat kuvaajat on laadittu seuraamalla ja kohdistamalla eräajotöissä käytetty aika kyseiselle ohjelmistolle. Koska yhdessä työssä voi olla ladattuna monta modulia, eräajoista modulikohtaisesti laskettu summa voi ylittää todellisuudessa käytetyn ajan. Toisaalta, lista kattaa vain CSC:n esiasentamat ohjelmistot (ne joista on moduli). Kuvaajista on poistettu kääntäjien, kirjastojen ja vastaavien työkalujen modulit. Tutkijoiden itse asentamat ohjelmistot eivät näy tässä analyysissa, koska niistä ei ole omaa modulitiedostoa. Modulien latauksista yhteensä laskettu Puhdin CPU-käyttö touko-elokuulle on36 M CPUh, mikä on vajaa puolet teoreettisesta maksimista. Tämäkin on todennäköisesti yliarvio ja tätä suurempi osa kuormasta on laskettu tutkijoiden itse asentamilla ohjelmistoilla. GPU-käytössä suhde on saman suuntainen: modulikäyttö yhteensä 0.31 M GPUh, ja teoreettinen maksimi 0.9 M GPUh. Myös Mahdilla suhde CPU-käytöstä on vastaavan lainen (188MCPUh vs. 352MCPUh).

Tulkinta

Suurin osa laskenta-ajasta (CPU) kuluu kourallisella ohjelmistoja. GPU-aika rajoittuu vielä pienemmälle joukolle, jossa kärjessä AI/ML-käyttö (pytorch, tensorflow) ja GPU:ta hyödyntävä molekyylidynamiikka (Desmond). Käyttäjämääriltään suosituimpia ovat bioinformatiikan ja koneoppimisen/datan käsittelyn työkalut.

Laskentaresurssikäyttö tiedealoittain ja organisaatioittain

Piirakkakuvaajat sisältävät myös Ilmatieteen laitoksen oman osion, modulidatasta se on suodatettu pois.

Lähde: Reppu-dashboard

Tieteelliset ohjelmistot Puhti- ja Mahti-laskentapalvelimilla

• Docs CSC oppaassa dokumentoituna ja asennettuna Puhtiin 121 ja Mahtiin 22
  

• Ladattavia eri ohjelmistomoduleja Puhtissa 282 (+ 40 conda-asennusta) ja Mahtissa 118 (ja niiden eri versiot)
  

Kaikista asennetuista ohjelmistoista ei ole omaa sivua käyttöoppaassa, vaikka niitä onkin asennettu ja ohjelmistomoduli on saatavilla. Tällä pyrimme maksimoimaan hyödyn käytetystä työajasta harvemmin tarvittujen ohjelmistojen aiheuttamasta työmäärästä ja toisaalta korkeatasoisesta asiakaspalvelusta.

Uniikit käyttäjätunnukset lisenssipalvelun kattamista kaupallisista ohjelmistoista

Tilanteet, joissa käyttäjä on joutunut odottamaan lisenssiä (se ei ole ollut saatavilla)

Taulukko kuvaa niitä päiviä, joina tutkija ei ole saanut kaupallisen ohjelmiston suorittamiseen lisenssiä. Lisenssien määrää on pyritty optimoimaan siten, että eri tutkimus on mahdollista tasapainoisesti eri tiedealoilla, mutta kohtuullisella lisenssikustannuksella. Suurempi lisenssi olisi kalliimpi, ja mahdollistaisi käytön milloin vain, mutta kokonaiskustannusten optimoimiseksi olemme ennemmin hankkineet pienemmän määrän lisenssejä useampiin ohjelmistoihin kuin paljon yhteen. Accelrys (Biovia) lisenssi on ollut säästösyistä alimitoitettu ja sen tarkoitus on ollut mahdollistaa kesken jääneiden tutkimusprojektien saattaminen loppuun. Korvaava ohjelmisto (Schrödinger) mahdollistaa vastaavanlaiset toiminnot, ja siinä lisenssi on ollut merkittävästi laajempi, ja on riittänyt käyttäjille hyvin paljon suuremmasta käyttäjämäärästä huolimatta.

Tarkastelujakso 1.5.-31.8.2021

Usage statistics 1.5.-31.8.2021

• Users 126 (previously 133 in 1.1.-30.4.2021)
• Number of jobs 11 448 (previously 15 211 in 1.1.-30.4.2021)
• Number of user support questions answered 132 (previously 162 in 1.1.-30.4.2021)
• Availability 99.7%
• Chipster YouTube channel statistics:
  • current subscribers 4 316
  • 101 050 views in 2021 (total views 370 032)

Development work

• Done 1.5.-31.8.2021
  • Functionality which allows users to run analysis jobs simultaneously for hundreds of samples with one click.
  • Functionality which allows users to assign raw data files to samples.
  • Analysis tools for microbial community analysis data added and improved
  • Tutorial videos and user documentation for microbial community analysis added and improved
  • Online course "Microbial community analysis with Chipster" May 20-21
  • Privacy notice updated
  • Operating system of CSC Chipster and the open-source package updated
  • User support
• Doing
  • Analysis tools for single cell RNA-seq updated and improved
  • Preparing for three upcoming single cell RNA-seq courses (Oulu, Turku, Helsinki) and one RNA-seq course (Helsinki)

  • Workflow functionality which allows the user to apply former analysis pipeline with tools and parameters for new datasets 

  • Running jobs in containers offers better security, more efficient compute resource usage and more versatile installation of analysis tools
  • eLearning course "Microbial community analysis with Chipster"
  • User documentation improved

Tarkastelujakso 1.5.-30.8.2021

• Elmer webinaarisarja (jatkui 5/2021) saavutti suuren yleisön (300 ilmoittautunutta).
  • Webinaarin videot (8 videota, n. 12 tuntia) ovat katsottavissa youtubessa
  • Yhteensä niitä on katsottu 6446 kertaa, viimeisen vuoden aikana 15 400 kertaa (ks. statistiikka)
  • Koska opetus todennäköisesti pysyvästä siirtyi verkkoon, lisätään youtube-kanavan seuranta statistiikkaan
• Elmer tiimiä pyydettiin mukaan Center of Excellence -hakuun: Hakemus pääsi varsinaiseen hakuun
  • HiECSs: High-Speed Electromechanical Energy Conversion Systems
  • n. 60% kaikesta sähköstä menee sähkömoottoreihin! Sähköistyminen supertrendi
  • Mukana Aalto, LUT, Tuni, VTT & CSC
  • Elmer on maailman luokassa merkittävä avoimen lähdekoodin ohjelmisto sähkömoottoreiden simulointiin
• NextFEM
  • Elmer mukana Akatemian HPC haussa yhdessä FMI:n kanssa
  • Seuraavan sukupolven meri- ja jäämallit LUMI:lle.
• Sähköpiirien kehitystä
  • Elmerin hyödyntämisen haaste on ollut vaikeus tehdä sähköpiirejä sähkömoottoreiden yhteyteen.
  • Määräaikainen työntekijä (sijainen) kehittänyt työkalua, jolla piirien laatiminen helpottuu.
• Peruskehitystä ja yleistä tukea.

Tilastotietoa (tilanne 9/2021)

Tarkastelujakso 1.5.-31.8.2021 (koko 2020)

• Sisältää myös PRACE, EuroHPC CC, ja LUMI Roadshowt
• Koulutustapahtumia 14 (66)
• Kurssipäiviä 123 (222)
• Osallistujia 551 (3667) + MOOCit *4 (750)
  • 13 (49) webinaaria/online
  • 0 (11) luokkahuonekurssia
  • 1 (6) MOOC
• Kokonaisarvosana 8.83 (8.79)
• Uutta:
  • Using CSC HPC Environment efficiently
    • Uusi kurssi käytön aloittamiseen ja tehostamiseen
    • Näille pohjatiedoille tiedealakohtainen jatkokurssi Geocomputing in Puhti supercomputer
  • Quantum Computing and Programming in Two Hours on CSC’s webpage

  • HIP101: porting CUDA codes to HIP

• Tulossa:
  • Ympäristökurssia kehitetään kohti itseopiskelumateriaalia ja kannustetaan sisällyttämistä oppilaitosten materiaaleihin
  • Uusi "PyQGIS: expanding QGIS's functionality with Python" kurssi.
  • Uusi "Containers and workflows in bioinformatics" kurssi

Käyttöoppaat (docs.csc.fi)

• Istuntoja: 21121 (-45% verrattuna edellisiin 120 päivään. Lasku johtuu pääosin seurannan muutoksesta jakson aikana, jossa evästeiden sallimatta jättäminen laski pävittäisesti tilastoituvia istuntoja systemaattisesti 75%. Itse kävijämäärän tulkitaan jatkaneen kasvua.)
• 34 sisällöntuottajaa ja 220 päivitystä (github)

Laskennallisen tutkimuksen asiantuntijatuki servicedeskin kautta

Laskennallisen tutkimuksen RT-tuen asiakastyytyväisyys

		ratkaisuaika [d]
jono(t)	tukipyyntöjä	mediaani	top75%
2020 SR-COMP	7747	1.7	7.7
2021/M1-4 SR-COMP	3202	1.9	10.3
2021/M5-8 SR-COMP	2581	1.0	4.7

SR-COMP == customer-accounts, hpcplatforms, notebooks-support, research-support, resource, servicedesk. (nämä asiakastuen "jonot" kattavat suurimman osan laskentaympäristön käytön tukipyynnöistä lähtien tunnusten hankkimisesta ja resurssien hakemisesta käytön ongelmien ratkaisemiseen)

Tikettien määrän kasvu selittyy suurelta osin erityisesti customer-accounts -jonon liikenteen lisääntymisellä, mikä korreloi kasvaneen asiakasmäärän kanssa.

Tikettien ratkaisuaikojen jakaumassa on pitkä häntä. Osa tiketeistä jää odottamaan asiakkaan vastausta ja se suljetaan, kun sitä ei saada. Joskus jo ratkaistu ja suljettu vanha tiketti avataan uudelleen uuden ongelman ilmetessä (ja tämä on esim. vähän nostanut edellisen raportin vuoden ensimmäisen kolmanneksen ratkaisuaikoja edellisen raportoinnin jälkeen). Toki joidenkin tikettien ratkaisu myös aidosti kestää pitempään. Toisaalta jonoissa on myös lähinnä "tiedoksi" olevia asioita. Määrä ja ratkaisuaika eivät kovin hyvin kuvaa tehtyä työtä tai saatua palvelua, mutta ratkaisuaikojen mediaani antaa suuntaa ja vähintään trendin. Näytteistämällä tehty tyytyväisyyskysely (pulse) kertoo hyvin korkeasta laadusta.

Tarkastelujakso 1.5.-31.8.2021

Pääportaali (www.kielipankki.fi)

• Käyttäjiä: 4406 (-7 % verratuna 1.5.-31.8.2020)
• Käyttäjiä Suomesta 2629 (60 % kokonaismäärästä)
• Saatavuus 100 %

Hakupalvelu Korp (korp.csc.fi)

• Käyttäjiä: 1563 (-11 % verratuna 1.5.-31.8.2020)
• Käyttäjiä Suomesta: 962 (61 % kokonaismäärästä)
• Saatavuus: 100 %

Lähteet: Google Analytics, CSC:n OpsView

Roadmap: 

Tarkastelujakso 1.5.-30.8.2021

• LUMIn ohjelmointimalleihin ja ohjelmointiympäristöön tutustumista Puhdin ja testialustojen avulla.
• Ristikorrelaation tehokas rinnakkaistettu toteutus Pythonilla suurille data- ja tiedostomäärille bioinformatiikkahankkeessa, viimeistely.
• Porttaus- ja optimointitukea molekyylidynamiikkaa ja koneoppimista yhdistävässä hankkeessa.
• Kahden plasmasimulaatiokoodin porttausta ja optimointia GPUille.
• DFT/elektronirakennekoodin CUDA/HIP-porttausta LUMIa ja muita GPU-koneita varten.
• Yhteistyötä Akatemian EuroHPC-hakuun valmistautuvien tutkijoiden kanssa.
• Mahdin large partition -pyyntöjen käsittely.
• Yleinen käyttäjätuki.
• Dokumentaation ja suorituskykytyökalujen ylläpitäminen ja kehittäminen.

Tulossa

• LUMIn 1. vaiheen osana saapuvan porttausalustan hyödyntäminen.
• Frameworkeihin (kuten Kokkos) tutustuminen, SYCLiin tutustuminen.
• LUMIn käyttäjädokumentaatioon kontribuoiminen tarvittaessa.
• Edellä mainitun porttaus- ja optimointityön jatkaminen.
• Akatemian EuroHPC -hakuun osallistuminen yhteistyössä tutkijoiden kanssa.

Huom: Työtä rahoitetaan osittain myös PRACE 6IP:n, Nomad2:n ja EuroHPC Competence Centerin kautta.

Tarkastelujakso 1.5.-30.8.2021

• Rakennettu tukea GPU-kapasiteetin käyttöön myös perinteisessä data-analytiikassa (R)
• Jatkettu kehitystyötä massiivisten rinnakkaisten deep learning (GPU) -töiden parempaa tukea varten
• Jatkettu aktiivista kurssitoimintaa ja oppaiden kehittämistä ml. Mahti-AI:n käytön opastus
• Kehitteillä tuki koneoppimistöiden hallintaan eri laskentaympäristöjen kesken (MLflow)

Tarkastelujakso 1.5.-30.8.2021

Uusien ominaisuuksien kehitys:

• Uuden käyttöliittymän (beta) myötä käytettävyys ja saavutettavuus on parantunut, sekä omatoiminen tehokäyttö kurssin, tutkimusryhmän tai muun yhteistyön alustaksi on tehty helpommaksi ja tehokkaammaksi ("designed for self service")
• Uudelle käyttöliittymälle on järjestetty systemaattinen käytettävyysarviointi ja parannuksia on tehty palautteen pohjalta
• Kehitetty jaetun tallennustilan ominaisuuksia kurssikäyttöä varten
• Tulevia kehityskohteita on erityisresurssien tarjoaminen (GPU:t)

Aktiiviset käyttäjät kvartaalettain ja käyttäjäryhmittäin

Kuukausittaiset Notebooks-laskentaympäristön käynnistykset

Tarkastelujakso 1.5.-31.8.2021

Paituli:

• Käyttäjiä: 436 (-23 % verratuna 1.5.-31.8.2020)
• Tiedostolatauksia: 1396 (-27 %)
• API-latauksia: 184 480 (-75 %)
• Saatavuus 99,88 %

API-latauksien lasku johtuu sellaisen ilmakuva-aineiston poistumisesta, joka olisi vaatinut erikoislisenssin geoserverillä. 

Uutta:

• Paitulin tietoturvaselosteen julkaisu ja sen mukaiset muutokset palveluun, mm. henkilötietojen käsittelyn hyväksyminen
• Paitulin web-käyttöliittymän tilastoinnin siirto: GoogleAnalytics → Fairdata Matomo
• Paituliin uusien Maanmittauslaitoksen ja Tilastokeskusken aineistojen lisäys
• Puhti: GIS-softien (pktools, GRASS, R for GIS, SNAP, OrfeoToolbox) päivitys ja käyttäjädokumentaation parantaminen
• Hakemus GeoPortti-palvelujen jatkokehittämiseksi Suomen Akademialle.

Tulossa:

• Paituliin uusien Maanmittauslaitoksen, Luonnonvarakeskusken ja Helsingin yliopiston aineistojen lisäys
• Paitulin palvelimien ja käyttöjärjestelmän vaihto: Centos8 → RHEL8
• Puhti: GIS-softien (sen2cor, OpenDroneMap, PDAL, QGIS) päivitys ja käyttäjädokumentaation parantaminen
• Puhti: LUKE VMI 2019 aineiston lisäys

Tarkastelujakso 1.5.-31.8.2021

• Asiakastunnusten tuen (CAM) tiketit: 1479 tikettiä kaiken kaikkiaan (1.5.-31.8.2021)
  • Tikettimäärä kasvussa (koko vuoden tikettimäärät 2019: 3402, 2020: 3723 ja 2021 tähän asti 3584)

• Tieteellisten resurssien jaon (RJR) hakemukset: 756 hakemusta, 726 260 000 haettua BU:ta, josta 651 260 000 myönnettyä BU:ta (1.5.-31.8.2021)

  • Vertailuna 1.1.-20.5.2021: 865 hakemusta, 821 199 998 haettua BU:ta, josta 750 099 998 myönnettyä BU:ta 
  • Hakemusmäärä selkeässä kasvussa (vuonna 2019 hakemuksia 934, vuonna 2020 hakemuksia 1474 ja vuosi 2021 tähän mennessä 1621)

Tarkastelujakso 1.5.-31.8.2021

• Saatavuus: 99,91% (ennaltasovittu iso versiopäivitys poisluettuna, lähde: CSC TechOp, Grafana)
• Tunnukset ja projektit:
  • Aktiiviset käyttäjätunnukset (sis. tekniset tunnukset, koulutustunnukset, admin-tunnukset ja CSC:n henkilökunnan tunnukset): 6228 (lähde: IdM, 7.10.2021)
  • Uudet käyttäjätunnukset (joita ei ole arkistoitu): 1871 (lähde: IdM, 1.1.-7.10.2021, 1633 uutta tunnusta vuonna 2020)
  • Sulkeutuneet ja poistetut tunnukset: 62 (lähde: IdM, 1.1.-7.10.2021, 956 suljettua tunnusta jotka on muodostettu vuonna 2020)
  • Aktiiviset akateemiset laskentaprojektit: 2944 (lähde: IdM, 7.10.2021)
  • Uudet akateemiset laskentaprojektit: 1135 (lähde: IdM, 1.1-7.10.2021)
  • Sulkeutuneet akateemiset laskentaprojektit: 653 (lähde: IdM, 1.1-7.10.2021)
• Toteutetut kehitystehtävät ja roadmap: 
  • Tehty (toukokuu-elokuu 2021):
    • IdM major update to 4.8. in June 2021
    • Lumi/Puhuri user authentication pilot version implemented
    • IdM search portal first production version for internal users at CSC
    • Master data fixes: science area data and nationality data checks and fixes
    • New integrations: Finna library system driver being implemented 
    • Project extension/closing functionality into production, plus data retention policy implementation
  • Roadmap (loppuvuosi 2021):
    • Multi factor authentication (MFA) pilot and first version
    • LUMI projects and resource applications workflows for MyCSC
      
    • Haka Level of Assurance changes to CSC identity management
    • User account lifecycle renewal (tying lifecycle to Haka login and attribute check)
    • Customer master data work together with CSC Sales and Finance
    • Additional Lumi features, for example end-user emails and project lifecycle implementation

Tarkastelujakso 1.5.-31.8.2021

• Saatavuus: 99,98 % (lähde: CSC TechOp, Grafana)
  • MyCSC rakentuu CSC:n Rahti-alustaan ja em. saatavuus on saatu Rahti-alustan kautta
• Käyttäjämäärät (ao. kuvaajassa seurantajakso, lähde Google Analytics)

• Tehdyt kehitystehtävät ja roadmap
  • Tehtyä (toukokuu-elokuu 2021):
    • Internal mailbox for MyCSC end-users
    • New services added to billing unit calculator
    • New API integration (after IdM major update)
    • Ida data management service quota management
    • LUMI resource application forms for Finnish researchers
    • Sensitive Data Desktop access management opened in MyCSC
    • New components and styles for CSC Design System
  • Roadmap:
    • Integrate Virta publications
    • Integrate MultiFactor authentication
    • Design the DMP integration
    • CSC user password change renewal
    • CSC user account lifecycle renewal (to be based on Haka login and attribute checks)
    • Progressive web application (for mobile use of certain MyCSC functionalities)