IDAn käyttöönotto organisaatiossa
Suomalaisilla korkeakouluilla ja valtion tutkimuslaitoksilla on maksuton käyttöoikeus Fairdata-palveluihin kuuluvaan IDA – Tutkimusdatan säilytyspalveluun, jossa kullakin organisaatiolla on tietty määrä organisaatiokohtaista IDA-käyttöoikeutta. IDA on opetus- ja kulttuuriministeriön järjestämä palvelu suomalaisen tutkimusjärjestelmän toimijoille. Palvelun tuottaa CSC – Tieteen tietotekniikan keskus Oy.
Fairdata-IDA palvelun käyttöönottamiseksi organisaation tulee ottaa yhteyttä fairdata@csc.fi ja nimetä organisaatiolle yksi tai useampi IDA-yhteyshenkilö, jotka myöntävät oman organisaationsa projekteille IDA-käyttöoikeuden ja projektinkohtaista säilytystilaa.
- Katso kunkin organisaation käyttöoikeuden koko täältä.
- Organisaatiokohtaista käyttöoikeutta voi tarvittaessa anoa lisää. Lisätietoa IDAn käyttöpolitiikassa.
IDA-yhteyshenkilön nimeäminen
- Organisaatio sopii sisäisesti IDA-yhteyshenkilöidensä nimeämisestä.
- Organisaation IDA-yhteyshenkilö luo CSC-tunnuksen my.csc.fi-asiakasportaalissa.
- Organisaation IDA-yhteyshenkilö ottaa yhteyttä CSC:hen (fairdata@csc.fi) ja kertoo uuden IDA-yhteyshenkilön (tai useamman IDA-yhteyshenkilön) nimen, sähköpostiosoitteen, puhelinnumeron, työnimikkeen ja CSC-tunnuksen.
- CSC antaa IDA-yhteyshenkilön CSC-tunnukselle tarvittavat oikeudet IDA-hakemusten käsittelyyn ja lisää hänet IDA-yhteyshenkilöiden sähköpostilistalle palvelumuutoksista tiedottamiseksi (ida-yhteyshenkilot@postit.csc.fi) sekä lisää hänen yhteystietonsa IDA-yhteyshenkilöiden wikisivulle IDA-yhteyshenkilöt organisaatioittain.
- Organisaation IDA-palvelun käyttö voi alkaa. Lisää ohjeita IDA-palveluun liittyen löytyy sivulta IDA-säilytystilan hakeminen.
- Tutustu myös PowerPoint-esittelyyn IDA-hakemusten käsittely MyCSCssa.pptx (pptx).
Tietoa IDA-yhteyshenkilöille
Organisaation IDA-yhteyshenkilön tehtävät
Käyttöoikeuden ja -säilytystilan jakaminen oman organisaation käyttäjille. IDA-yhteyshenkilön päätehtävänä on jakaa IDA-käyttöoikeutta ja IDA-säilytystilaa organisaationsa käyttäjille. Organisaatio voi halutessaan nimetä useamman kuin yhden IDA-yhteyshenkilön, joilla on yhtäläiset oikeudet käsitellä IDA-hakemuksia organisaationsa osalta.
. Organisaatio voi halutessaan nimetä useamman kuin yhden IDA-yhteyshenkilön, joilla on yhtäläiset oikeudet käsitellä IDA-hakemuksia organisaationsa osalta.
IDA-käytön seuraaminen. IDA-yhteyshenkilöt voivat katsella organisaationsa IDA-käyttötilastoja MyCSC-portaalissa (my.csc.fi).
Käyttäjien ja projektien tietojen ajantasaisuuden varmistaminen yhteistyössä CSC:n kanssa. CSC tiedottaa organisaatiota niistä IDAa käyttävistä projekteista, joiden jäsenten tunnukset ovat vanhentuneet tai poistuneet palvelusta ja data on vaarassa tulla poistetuksi.
Ajantasainen tieto palvelusta. CSC tarjoaa IDA-yhteyshenkilöille koulutuksia ja tietoa ajankohtaisista muutoksista IDAssa ja muissa Fairdata-palveluissa.
IDAn käytöstä ja IDA-tilan hakemisesta
Säilytystila IDAssa myönnetään CSC-projektille ja jokaisella IDAa käyttävällä CSC-projektilla on oltava yksi projektikohtainen vastuuhenkilö. Tämä vastuuhenkilö on se projektin jäsen, joka luo CSC-projektin ja anoo tilaa organisaationsa IDA-yhteyshenkilöltä MyCSC:ssä. Projektin vastuuhenkilö myös hallinnoi projektin muita jäseniä (liittää ja poistaa heitä) MyCSC:ssä. Myös organisaation IDA-yhteyshenkilö voi toimia projektien vastuuhenkilönä. Tarkempaa tietoa löytyy IDAn käyttöehtoja käsittelevältä sivulta, kohdasta "Projektin vastuuhenkilön käyttöehdot".
Kun projektin vastuuhenkilö on lähettänyt my.csc.fi-asiakasportaalissa IDA-tilahakemuksen, siitä tulee (kullekin) IDA-yhteyshenkilölle sähköposti-ilmoitus. Ilmoituksessa kerrotaan, että yhteyshenkilöllä on uusi IDA-säilytyspalvelun käyttölupahakemus hyväksyttävänä CSC:n asiakasportaalissa. IDA-yhteyshenkilöä pyydetään käymään tarkastamassa hakemus ja valitsemaan hyväksyykö vai hylkääkö hän hakemuksen organisaationsa IDA-oikeuden osalta. Yhteyshenkilö voi myös myöntää eri määrän säilytystilaa kuin hakemuksessa on alun perin haettu.
Projektin vastuuhenkilö voi pienentää tai kasvattaa olemassa olevan IDA-projektin säilytystilan kokoa my.csc.fi-asiakasportaalissa. Jos projektin vastuuhenkilö pienentää projektinsa säilytystilaa, muutos hyväksytään automaattisesti. Jos projektin vastuuhenkilö kasvattaa projektinsa säilytystilaa, pyyntö lähtee IDA-yhteyshenkilön hyväksyttäväksi.
CSC voi IDA-yhteyshenkilön pyynnöstä poistaa projektin ja sen datat IDAsta. Sovi tästä ensin kyseisen IDA-projektin vastuuhenkilön kanssa, ja ota tämän jälkeen yhteyttä yhteyttä fairdata@csc.fi.
Kun data on julkaistu ja IDAan ei ole enää tarvetta tallentaa uutta dataa
Jos tutkija haluaa yhä jatkaa IDAssa olevan datan jakamista Etsimessä julkaistuna tutkimusaineistona, mutta ei enää tallettaa ja julkaista uutta dataa, suosittelemme että hän ottaa yhteyttä kotiorganisaation IDA-yhteyshenkilöön sopivan vastuuhenkilön löytämiseksi. Dataan liittyvä CSC-projekti tulee pitää aktiivisena myös datan julkaisun jälkeen, mikäli dataa halutaan yhä säilyttää IDAssa. Projektin vastuuhenkilöä voi kuitenkin vaihtaa. Jotta dataa voidaan säilyttää ja hyödyntää alkuperäisistä tekijöistä riippumatta, on tärkeää, että IDAssa säilytettävän datan tuntevat henkilöt ovat dokumentoineet datan, kuvailleet sen Etsimeen, dataan liittyvistä oikeuksista on sovittu ja datalle on asetettu jatkokäytön mahdollistava lisenssi. Huomaa, että IDAn käyttöehdot edellyttävät käyttäjiä julkaisemaan IDAan tallentamansa datan kuvailutiedot yhtenä tai useampana aineistona, niin että ne ovat löydettävissä Fairdata Etsin -palvelusta.
Jos taas IDA-säilytystilalle ei ole enää tarvetta, säilytystilan vastuuhenkilön tulee ilmoittaa siitä CSC:lle ottamalla yhteyttä asiakaspalveluun (asiakaspalvelu (a) csc.fi). Säilytystilassa olevan datan poistosta tulee sopia CSC:n kanssa. Datan siirto omaan käyttöön ja muuhun tallennuspaikkaan on hoidettava itse.
CSC ei poista käyttäjien palveluun käyttöehtojen mukaisesti lisäämää dataa palvelusta neuvottelematta asiasta projektin vastuuhenkilön tai IDA-tilan myöntäneen organisaation kanssa.
Paljonko IDA-säilytystilaa tulisi hakea ja myöntää?
Säilytystilaa hakiessa hakemuksen tekijän tulee arvioida haettavan säilytystilan koko gibitavuissa (GiB). Gibitavu (GiB) = 1 073 741 824 tavua eli noin 1073 gigatavua (GB). Hakijan kannattaa tarkistaa jo olemassa olevien IDAan mahdollisesti tallennettavien tiedostojen koko, ja arvioida näiden perusteella lopullinen tilatarve. Huom: Olemassa olevan IDA-säilytystilan kokoa voi helposti kasvattaa (tai pienentää) my.csc.fi-asiakasportaalissa.
Kannattaa huomata, että isojen datamäärien siirrossa IDAan kestää aikaa. Esimerkiksi 1 GiB kokoisen tiedoston siirto 10 Mb/s yhteyden yli tyypillisesti kestää noin 10 minuuttia ja nopean 100 Mb kiinteän yhteyden yli pari minuuttia. Suosittelemme käyttämään isojen tiedostojen/datamäärien siirtämiseen esim. kotiorganisaation tarjoamaa nopeaa kiinteää yhteyttä sekä IDAn komentorivityökaluja, jotka kertovat selkeästi siirtojen onnistumisesta.
Alla muistin virkistykseksi tietoa tallennustilojen kokoihin liittyen.
Tiedostokokojen yksiköt pienimmästä suurimpaan
1 tavu (B) = perusyksikkö datan koolle
1 kibitavu (KiB) = 1024 tavua
1 mebitavu (MiB) = 1024 kibitavua
1 gibitavu (GiB) = 1024 mebitavua
1 tebitavu (TiB) = 1024 gibitavua
1 pebitavu (PiB) = 1024 tebitavua
Esimerkkejä tiedostoista ja säilytystiloista
Huomaa, että tiedostojen voivat vaihdella paljonkin, esimerkiksi kuvan tai videon laadusta riippuen.
| Tiedosto | Tiedoston keskimääräinen koko* | Tiedostojen määrä 1 GiB:ssa | Tiedostojen määrä 25 GiB:ssa | Tiedostojen määrä 1 TiB:ssa |
|---|---|---|---|---|
| Tekstinkäsittely | 730 KiB | 1400 | 35000 | 1436000 |
| Esitysgrafiikka (ppt) | 6 MiB | 170 | 4300 | 174000 |
| JPEG-kuva | 300 KiB | 3400 | 85000 | 3495000 |
| Älypuhelimella otettu JPEG-valokuva | 3 MiB** | 340 | 8500 | 349000 |
| PDF-dokumentti | 3 MiB | 340 | 8500 | 349000 |
| MPEG-video | 650 MiB | 1 | 39 | 1600 |
| 30 min HD video | 2,1 GiB | 0 | 12 | 490 |
| full DVD | 4,7 GiB | 0 | 6 | 218 |
*) perustuu tutkimukseen liittyvien 14000 tekstinkäsittelytiedoston, 1000 esitysgrafiikkatiedoston, 4 miljoonan JPEG-kuvan, 27000 PDF-tiedoston ja 7000 MPEG-tiedoston tietoihin, sekä 5 ei-tutkimukseen liittyvän 30 minuutin HD h264 -videon tietoihin.
** esimerkinomainen koko, joka ei perustu tutkimukseen liittyvistä tiedostoista laskettuun tiedoston keskimääräiseen kokoon.
IDA-käyttötilastojen katselu
IDA-yhteyshenkilöt voivat katsella organisaationsa IDA-käyttötilastoja MyCSC-portaalissa (my.csc.fi). Kirjaudu sisään Hakalla kohdasta 'Login/Register' -> valitse vasemmasta reunasta "IDA Application Management".
Näkymä näyttää ensin paljonko organisaatiosi IDA-käyttöoikeudesta on myönnetty IDAa hyödyntävien CSC-projektien käyttöön ja paljonko käytetystä tilasta on kokonaisuudessaan projektien valmistelualueilla (staging) ja jäädytetyillä alueilla (frozen).
Näkymä summaa myös montako projektia, käyttäjää ja tiedostoa organisaatiollasi on yhteensä IDA-palvelussa ja montako julkaistua tutkimusaineistoa IDAssa säilytettävään dataan liittyy Fairdata Etsin-palvelussa.
Alempana näkymässä voit tarkastella odottavia ja jo hyväksyttyjä IDA-tilahakemuksia (Applications) ja IDAa käyttäviä CSC-projekteja (Projects). Projektilistauksessa saat riviä klikkaamalla lisätietoa kyseisestä IDAa käyttävästä projektista (esim. projektin nimi, sen julkaisemien aineistojen pysyvät tunnisteet, alkamis- ja päättymispäivä). Listaa voi järjestää eri tavoin otsikkoja klikkaamalla.
- Huomaa, että voit tehdä projektin julkaiseman aineiston pysyvästä tunnisteesta selaimella toimivan linkin seuraavasti: DOI-tunnisteet toimivat linkkeinä, kun korvaat niiden alussa olevan osion 'doi:' osiolla 'https://doi.org/' (esim. https://doi.org/10.23729/cf5d1f55-7320-4a93-8abb-74acea5e8f86). URN-tunnisteet toimivat linkkeinä, kun niiden eteen lisää 'https://urn.fi/' (esim. http://urn.fi/urn:nbn:fi:csc-kata20180822134216774078).
Sulkeutuvat projektit ja datan poisto
Näet varoitusmerkin niiden projektien kohdalla, joiden vastuuhenkilön tunnus on lukossa / puuttuu tai projektissa ei ole yhtään käyttäjää. Jos näin on, projekti tulee sulkeutumaan sen päättymispäivänä (End date) ja projektin data, myös julkaistu, poistetaan 90 päivän kuluttua projektin sulkeutumisesta. Projektin jäsenien CSC:lle ilmoittamiin sähköpostiosoitteisiin lähetään CSC:ltä 3 automaattista varoitusviestiä ennen projektin sulkeutumista.
CSC tiedottaa IDA-yhteyshenkilöille, kun organisaation IDAa käyttävä projekti sulkeutuu, esim. puuttuvan vastuuhenkilön vuoksi, ja sen data on menossa poistoon 90 pv kuluttua CSC-projektin sulkeutumisesta. Organisaatio voi halutessaan pyrkiä löytämään CSC-projektille uuden vastuuhenkilön (jolloin IDA-palvelun käyttöä voidaan jatkaa) tai datalle uuden säilytyspaikan.
IDA-käyttötilastojen jatkokehitys
Olethan yhteydessä, jos IDA-käyttötilastojen esitystavassa MyCSC:ssä parannettavaa tai jos organisaatiosi IDA-käyttötilastoissa on mahdollisia virheitä: fairdata@servicedesk.fi
Yllä kuva organisaation IDA-yhteyshenkilön näkymästä MyCSC-portaalissa.
IDAn etuja datan avaamisessa
- Data jäädytetään IDAssa ennen sen avaamista sen eheyden varmistamiseksi. Tämä tarkoittaa, että dataa säilytetään IDAssa read only-tilassa käyttäjävirheiden minimoimiseksi. Lisäksi jäädytetyn datan säilytyksestä ja eheydestä huolehditaan replikoimalla jokainen jäädytetty tiedosto toiselle tallennusmedialle ja laskemalla jokaiselle jäädytetylle tiedostolle SHA256-tarkistussumma (checksum).
- Datan säilyttäminen IDAssa mahdollistaa useita tiedostoja ja erilaisia kansiorakenteita sisältävän datan avaamisen alkuperäisessä kansiorakenteessaan sen sijaan, että aineistoon liitetyt tiedostot on paketoitu yhdeksi zip-paketiksi. Tällöin datan hyödyntäjä voi myös ladata aineistoon kuuluvia tiedostoja joustavasti tiedosto/kansio kerrallaan, tarpeidensa mukaan.
- IDAsta voi avata tarvittaessa huomattavan suuria, yhteensä satojen gigatavujen tai joidenkin teratavujen kokoisia aineistoja yhtenä kuvailtuna tutkimusaineistoina, jolla on yksi pysyvä tunniste.
- Datan voi myös avata kumulatiivisena eli kasvavana aineistona, lisätietoa ominaisuudesta uutisessa Fairdata.fi-verkkosivustolla
- IDAssa säilytettävälle Qvaimella kuvaillulle aineistolle saa DOI-tunnisteen viittauksia varten.
- IDAssa säilytettävä data on mahdollista kuvailla Qvaimella ja siirtää pitkäaikaisssäilytykseen Fairdata PAS-palveluun. PAS-palvelun käyttö vaatii sopimuksen.
- IDAssa säilytettävän ja Qvaimella kuvaillun datan kuvailutiedot ovat löydettävissä Etsimestä ja tiedejatutkimus.fi-portaalista
IDA-ohjeistus verkkosivuilla
IDAn käyttöehdot ja henkilötiedot
IDAn käyttöehtojen mukaisesti käyttäjä sitoutuu olemaan tallentamatta palveluun tietoja, jotka koskevat EU:n yleisen tietosuoja-asetuksen 9 artiklassa lueteltuja ”erityisiä henkilötietoryhmiä” (https://www.privacy-regulation.eu/en/9.htm). IDA-käyttöehtojen osana tulee huomioida CSC:n tieteen palvelujen yleiset käyttöehdot. Jokainen IDA-käyttäjä rekisteröi itselleen CSC-tunnuksen.
Käsittelijä (CSC) vastaa järjestelmiensä ja palveluidensa tietoturvallisuudesta. IDAn tapauksessa tietoturvallisuuden hallinta on toteutettu valtionhallinnon perustason mukaisesti. CSC:n palvelut kattava yleinen tietoturvallisuuden hallinnan kuvaus on tarvittaessa nähtävissä CSC:n tietoturva-sivulla.
Aineiston omistajalla ja rekisterinpitäjällä on viime kädessä vastuu aineiston käsittelystä lakien ja muiden velvoitteiden mukaisesti.
Projektiryhmän kesken tulee noudattaa yhteisiä turvallisuuskäytäntöjä sekä aineistoa tallennettaessa että uudelleen haettaessa. Pääsyoikeudet henkilötietoja sisältävään tietoon tulee olla rajattu asiakkaan toimesta ja asiakas vastaa omien käyttäjiensä ohjeistuksesta sekä ohjeistuksen valvonnasta.
Lisäsuojauksen voi toteuttaa tallentamalla henkilötiedot asiakkaan toimesta pseudonymisoidussa muodossa.