Tämä sivu on tarkoitettu etenkin teknisille asiantuntijoille, jotka vastaavat tiedonsiirrosta organisaatiossaan. Sivulle on koottu tietoa organisaatioiden tiedonsiirron aikataulusta sekä tietomalleista ja skeemoista. Lue materiaali huolella.
Tietomallit ja skeemat
Siirtoprofiili kuvaa korkeakoulujen järjestelmistä siirrettävän tiedon rakenteen:
- https://tietomallit.suomi.fi/model/ttv_cris/ Huom! Siirtoprofiili kuvaa myös siirrettävien tietojen sisällön/kuvauksen kenttäkohtaisesti.
XSD-määrittelytiedostot:
Voimassa olevat (3.5.2023 alkaen) Tutkijan tiedot xml-skeemat:
- xsd-tiedosto: ttv_cris.xsd (affiliaation tyyppi vaihdettu vapaaehtoiseksi ja kieliversioiduksi tekstiksi koodistoarvon sijaan)
- xsd:stä generoitu selaimessa aukeava versio: TULOSSA
- Tyypit-xsd: ttv_cris_tyypit.xsd
XML-mallitiedostot
19.8.2022 päivitetyt mallitiedostot
- Tutkijan tiedot (tutkijat_mallitiedosto_2022.xml)
- Aktiviteetit (aktiviteetit_mallitiedosto_2022.xml)
Koodistot kertovat eräiden tietotyyppien sallitut arvot:
- Aktiviteettien tyypit ja roolit: https://koodistot.suomi.fi/codescheme;registryCode=research;schemeCode=aktiviteetitjaroolit
- Alayksiköt: https://virkailija.opintopolku.fi/koodisto-service/rest/json/alayksikkokoodi/koodi (ei toimi ilman APIkeytä)
- Kielet: https://virkailija.opintopolku.fi/koodisto-service/rest/json/kielikoodistoopetushallinto/koodi (ei toimi ilman APIkeytä)
- Koulutuskoodit: https://koodistot.suomi.fi/codescheme;registryCode=jhs;schemeCode=koulutus_18_20190101
- Maat: https://koodistot.suomi.fi/codescheme;registryCode=jhs;schemeCode=valtio_1_20120101
- Tunnisteet: https://koodistot.suomi.fi/codescheme;registryCode=research;schemeCode=PID
- Tieteenalat: https://koodistot.suomi.fi/codescheme;registryCode=research;schemeCode=Tieteenala2010
- Yliopistojen ammattinimikekoodisto: https://koodistot.suomi.fi/codescheme;registryCode=research;schemeCode=yoan
Tietojen poistaminen tapahtuu poistotiedostoilla.
Tiedonsiirto organisaatioista
Tiedonsiirtoyhteyden avaaminen
Yhteyden avaamiseksi tietoja tuottavan organisaation tulee lähettää seuraavat tiedot CSC:lle osoitteeseen tiedejatutkimus@csc.fi:
- Yhteystieto organisaatiolle (sähköpostiosoite, johon voidaan olla tarvittaessa yhteydessä tiedonsiirtoon liittyvissä asioissa)
- IP-osoite, josta SFTP-palvelimeen otetaan yhteyttä
- SSH-avaimet
Tiedostomuoto
Organisaatiot lähettävät tiedostot tutkimustietovarantoon XML kuvauksen mukaisena XML-tiedostoina UTF-8 muodossa.
Siirtotiedostossa voidaan tuoda vain joko uudet ja muuttuneet tiedot tai vaihtoehtoisesti aina kaikki tiedot, jolloin ne luetaan aikaisemmin toimitettujen vanhojen tietojen päälle.
CSC antaa tarvittaessa tukea ja ohjeita tiedonsiirtojen tekemistä ja mahdollisuuksien mukaan myös siirtotiedostojen luomista varten.
Testaaminen ja tiedoston nimeäminen
Ainoastaan .xml loppuiset tiedostot ladataan automaattisesti tuotantoon.
Tiedoston nimessä olisi hyvä olla mukana tiedontuottajan nimi ja aikaleima. Muotoa tiedontuottajannimi_yyyyMMddHHmmss.xml.
Pisteitä ja välilyöntejä olisi hyvä välttää tiedoston nimessä. Ne voi korvata tarvittaessa alaviivalla. Esim. tiedontuottajannimi_20200408145433
Yhteyttä ja tiedoston sisältöä voi testata testipalvelimella dwitjutisftp.csc.fi. Testitiedostot eivät automaattisesti siirry käsiteltäväksi ja testaamisesta voi ilmoittaa osoitteeseen tiedejatutkimus@csc.fi
Tiedonsiirto
Tietojen siirtäminen tutkimustietovarantoon tapahtuu suojatun ja varmennetun yhteyden yli. Tiedonsiirto tapahtuu SFTP:llä ja tunnistautuminen SSH-avaimia hyödyntäen. Pääsy itse palvelimelle on rajattu palomuurein ja sallittu ainoastaan nimetyistä IP-osoitteista. Tiedostot lähetetään CSCn SFTP-palvelimelle dwitjutisftp.csc.fi (tuotanto) ja dwitjutisftp.csc.fi (testi).
Käyttäjätunnus on muotoa JTP_*organisaationtunnus* ja sen alla hakemisto "tutkijan_tiedot" on kaksi hakemistoa in/ ja out/ . Siirrettävät tiedostot pitää laittaa in/ hakemistoon, toinen hakemistoista on tarkoitettu mahdolliseen tiedon lähettämiseen tietovarannosta organisaation suuntaan.
Tietojen korjaaminen
Tietoja voidaan korjata tuomalla ne uudelleen käyttäen samaa tiedonsiirtoyhteyttä ja XML-tiedostojen siirtoa. Tietojen korjaamisen edellytys on kuitenkin paikallisen tunnuksen käyttö, jotta korjaus voidaan viedä oikealle tiedolle. Huomioittehan siis, että paikallinen tunniste pysyy muuttumattomana näiden tietojen korjaamisen osalta XML-tiedostoissa.