Korkeakoulujen valtakunnallinen tietovaranto ja viranomaistietovirrat: RAKETTI-VIRTA-projekti

Yhteyshenkilöiden kokous 28.4.2014 kello 9:30 -11:00

Kokouksen nauhoite: https://connect.funet.fi/p1bhytzkoeg/ (1 h, 03 min)

Osallistujat: Lauri Jokipii CSC, Mariikka Kekäläinen, CSC, Aila Kanniainen OY, Aila Markus VAMK, Airi Meriläinen KAMK, Alli Järvinen LUT, Arja Neuvonen HAAGA-HELIA, Antti Suonpää SAMK, Eila Partanen CSC, Fredrik Finnberg Arcada, Hannele Husa SeAMK, Heli Heikkinen CGI, Heli Peltola, LAMK, Joakim Björklund ÅA, Jouko-Antero Rintamäki TAMK, Jukka Kohtanen VY, Juha Rautio TY, Kim Kronberg ÅA, Leena Kurki-Pölönen MAMK, Maarit Tenhunen LAY, Mika Rintala HAMK, Mikael Seppälä Aalto, Petri Heinonen JY, Päivi Rahkonen TY, Päivi Aho Laurea, Saimaan AMK, Sari Zitting HY, Susanne Olin ÅA, Taija Oksanen Turun AMK, Tuula Hiltunen KARELIA, Tuula Peura Savonia AMK, Ulla Tiainen-Sallinen JAMK, Ulf Nyström.

Ajankohtaiset asiat

  • Kaikki toteutukset valmistuivat aikataulussa
  • Tilastokeskuksen tiedonkeruiden testaus (Lauri Jokipii)
    • viime viikolla lähetettiin yliopistojen aineisto Tilastokeskukseen. Yhden ylioppiston kohdalta tarkistustieto tuli jo; Sisällössä näyttää olevan jonkin verran petrattavaa, koulutuskoodin puuttuminen yleisin ongelma. Testaukset jatkuvat.  
    • Kysymys: Haluatteko testiaineistoja ladattavaksi SFTP-palvelimelle sitä mukaa, kun niitä tulee? Sovittiin että Lauri lähettää tietoa aineistojen saavuttua. 

Korkeakoulujen valtakunnallinen tietovaranto -seminaari 8.4

  • Työpajojen yhteenvedot
    • a) Rekisterinpitäjän velvollisuudet ja vastuunjako teknisen tietojenkäsittelypalvelun osana (Mariikka Kekäläinen)

    • b) Tietosisällön laadun parantaminen VIRTA-Saminaari yhteenveto.docx (Raine Rapo)

    • c) Tietovarannon käyttö korkeakoulun omissa palveluissa (Petri Sane)

    • d) Koodistojen määrittäminen ja muut tietoarkkitehtuurin hallintaprosessit & yhteinen kokonaisarkkitehtuuri (Lauri Jokipii)

  • Palautetta, toiveita seuraavaa seminaaria ajatellen?

Esitetyt kysymykset ja niihin annetut vastaukset

Kysymyksia ja vastauksia

Kysymys (Aalto): Petri varoitteli RAKETTI-hankkeen päätösseminaarissa, että Aallon tällä hetkellä tuottama VIRTA-data olisi päivän verran  liian vanhaa datalle lähitulevaisuudessa määritettävän sallitun viiveen suhteen. Olisi hyvä, jos tämmöiset määriteltäisiin aikaisemmin, koska tehtävän vaatima tietovarastolatausten ajastusten optimointi ei ole meille kevyt (ja halpa) homma.

Pystyttekö vahvistamaan asian ja osaatteko sanoa, että mihin mennessä meidän odotettaisiin tuottavan VIRTAa varten tuoreempaa dataa?

Vastaus:

  • Kysymykseesi löytyy vastaus juuri äskettäin lähetytystä OKM:n tiedonkeruukirjeestä jota käsitellään myös yhteyshenkilöpalaverissa. Kirje löytyy mm. tästä Korkeakoulujen valtakunnallisen tietovarannon kayttoonotto
  • Olennaiset speksit "Opetus- ja kulttuuriministeriö suosittelee tietosisällön päivittämistä kerran vuorokaudessa.Tietovarannon tietosisältö on kuitenkin päivitettävä vähintään
    • kuukausittain joka kuun ensimmäisten viiden arkipäivän kuluessa 
    • seuraavan arkivuorokauden sisällä opetus ja kulttuuriministeriön vahvistaman korkeakoulujen yhteisen yhteishaun hakuajan päättymispäivästä. Otettaessa korkeakoulujen yhteishaku ensimmäistä kertaa käyttöön vuoden 2014 syksyllä järjestettävässä yhteishaussa, hakuaika päättyy 22.9.2014 kello 15:00 (OKM:n kirje OKM/29/592/2013, 24.09.2013)
    • seuraavassa luvussa kuvattuja tiedonkeruita varten tiedonkeruupäivään mennessä" 
  • Huomioitavaa on siis että kyse on tietovarannon tiedoista, joten koko ketju: datan siirto virran sftp-palvelimelle, siirto tietokantapalvelimille ja sieltä vielä lukupuolelle. Eli se ei riitä että teidän oma tietovarantonne on päivitettynä esim. 23.9 edellisen päivän tiedoilla, koska materiaali pitää saada vielä Virtaankin.
  • Kutakuinkin noin tuota on tulkittava, määre "tietovarannon ajantasainen sisältö" tarkoittaa meidän osaltamme sitä että luku-rajapinnassa on 23.9 klo 23.59 tietoa, joka ei ole 22.9 klo 15 vanhempaa. Meidän kätemme ovat sidottuja, koska kyse on OKM:n kirjeestä, ainoa mitä me voimme ja teemme on parantaa tiedokannan siirtoa lukurajapintaan, jolloin voisimme ottaa sisään dataa myöhemmin. Nyt jo meidänkin takiamme koko ajastuskalenteri pitänee uusia tuolloin 22.9 tienoilla vastaamaan vaatimuksia.

---

Kysymys: Tuli mieleeni, että tällä hetkellä sekä Tilastokeskuksen ja OKM:n Kota -tiedonsiirroissa on heidän toteuttamiaan tarkistuksia. Eikö nämä tarkistukset olisi hyvä olla myös Virta-tiedonsiirroissa? Alla TK:n tarkistusohjelman tekemät tarkistukset tutkintotiedonkeruun osalta, samanlainen löytyy myös opiskelijatietojen osalta osoitteesta http://tilastokeskus.fi/keruu/amko/muuta.html##tarkistukset . Näin nämä tiedot olisivat kunnossa Virrassa heti eikä niitä aleta korjailla vasta, kun ennakkoaineisto otetaan Virrasta tilastointia varten?

Vastaus:

  • Tietovarannon ylläpidon tavoitteena on toteuttaa kaikki Tilastokeskuksen ja OKM:n suorien tiedonkeruiden aiemmin toteuttamat tarkistukset sekä muut tarkistukset, joita keksitään. 
  • Käytännössä RAKETTI-VIRTA-projektin puitteissa on ensiksi toteutettu ne tarkastukset, jotka voidaan tehdä XML-validoinnilla. 
  • Myöhemmin on otettu käyttöön tietokannassa tehtäviä tarkastuksia, joissa otetaan kiinni tietojen puutteita ja ristiriitoja. 
  • Viranomaistiedonkeruiden toteutuksen yhteydessä pyritään tuomaan tarkastukset mahdollisimman täydellisiksi, myös taustatietoon perustuvien tarkastusten osalta. Prosessi on hidas. 
  • Tuon esimerkin koulutusohjelmapäätöksistä on luovuttu, joten sitä yksityiskohtaista tarkastamista tukevaa taustatieto ei ole enää käytettävissä. 
  • Suunnitelmana on, että koodistopalvelussa pidettäisiin yllä korkeakoulukohtaisia sallittujen koodien (esim. koulutusalojen) luetteloita ja niitä sitten otettaisiin käyttöön eri tarkastuspisteisiin.

Unable to locate Jira server for this macro. It may be due to Application Link configuration.

---

Kysymys: OILI:ssa on määritelty ISO-koodisto.  Nyt jos OILIsta ilmoittauduttaessa korkeakoulun järjestelmiin viedään ISO-koodituksen mukainen tieto ja siitä taas siirretään VIRTAan joka käyttää tilastokeskuskoodeja voi olla ristiriita valmiina. Olisi tarkoituksenmukaisempaa, että käytettäisiin toisiinsa liittyvissä palveluissa samaa koodistoa, joka todennäköisesti pitää siis olla tilastokeskuskoodisto.

Vastaus:

  • Tavoitteena on, että käytetään samoja koodistoja ekosysteemin kaikissa osissa. 
  • Tilastokeskuksen koodistot eivät aina välttämättä vastaa toiminnan tarpeita, varsinkaan, jos ne ovat suppeampia, kuin mitä esimerkiksi Opintopolussa käytetään. "Oikean" koodiston valinta ei siis ole aina itsestään selvä.
  • Tätä varten arkkitehtuurityötä halutaan tehdä niin opiskelun ja opetuksen tukipalveluiden viitearkkitehtuurin kuin viranomaistietovirtojen tavoitearkkitehtuurinkin suhteen. Työ on vasta alkumetreillä, viranomaistietovirtojen tavoitearkkitehtuuria edistävä Korkeakoulujen valtakunnallisen tietovarannon ja OKM:n tiedonkeruiden ohjausryhmä ei ole vielä aloittanut toimintaansa. Samoin opintoasiainjohtajien ja tietohallintojohtajien verkostot päättävät vasta kesäkuussa, mikäli muodostavat ryhmän ohjaamaan opiskelun ja opetuksen tukipalveluiden ja hallinnon viitearkkitehtuurin kehitystä. Tällä hetkellä Synergiaryhmä on pääasiallinen toimija.

---

Kysymys: Riittääkö jos teemme ohjelmat/ryhmät niin, että esim. tekniikan opintoja suorittavat JOO-opiskelijat laitetaan kaikki ohjelmaan/ryhmään, jonka koulutusala on 5/599 Muu tekniikan ja liikenteen alan koulutus (koulutusala 5)? Tulevia opiskelijoita on niin vähän, että tuntuisi turhalta alkaa tekemään kaikkia alakoulutuksia varten omia ohjelmia.

Vastaus:

---

Kysymys: Meille jäi 200 343 opinto-oikeusjaksosta ~930 jaksoa, joilla "Opiskeluoikeuden opiskeluoikeusjakso ei muodosta eheää aikajaksoa". Onko ehdotuksia miten tämän korjaisi? Joissakin on muutama päivä väliä, mutta joissakin voi olla yli vuosi. Riittääkö se jos opinto-oikeudella on tila=passiivinen kyseisellä aikajaksolla?

Vastaus:

  • Opiskeluoikeusjaksojen päivämäärätarkistus ei ota kantaa opiskeluoikeuden tilaan, vaan tilasta riippumatta päivämäärät eivät saa mennä päällekkäin. Periaatteessa tuohon ei ole mitään oikotietä, vaan päivämäärien pitäisi olla kohdallaan.

---

Kysymys: Mitä tapahtuisi, jos Virtaan lykätyt xml-tiedostot eivät jostain syystä validoituisikaan? Näin voisi käydä esim. silloin, kun yliopiston oma koodisto eroaisi Virrassa käytetystä koodistosta, ja tiedostot validoituisivat lähettävässä päässä, muttei Virran päässä. Tulisiko tällöin jokin sähköposti-ilmoitus, vai näkyisikö tieto vain Virta_Latausraportti.txt -tiedostossa?

Vastaus:

---

Kysymys: Tarvitseeko tietovarantoon siirtää sellaisia opiskelijoita, jotka ovat joskus ottaneet opiskelupaikan vastaan ja olleet mahdollisesti poissaolevana, mutta eivät ole koskaan aloittaneet opintoja eivätkä näin ollen suorittaneet yhtään opintopistettä.

Vastaus:

  • Koska tietovarantoon tulee tuoda tietoa myös opiskeluoikeuksista (ensisijaisten hakijoitten suosiminen yhteishaussa) niin myös mainitsemiesi opiskelijoitten tiedot ovat tietovarannon kannalta olennaisia, koska opiskelijan ottaessa vastaan opiskeluoikeuden, hän menettää ensisijaisuutensa loppuelämäkseen. Riippumatta siis siitä opiskeleeko henkilö mitään.
  • Tietovarantoon tuodaan siis tiedot, jos on lain tarkoittamasta opiskeluoikeudesta kyse tai, jos henkilöllä on korkeakoulun antamia opintosuorituksia. Kumpi vain ehto riittää siihen, että tiedot on tuotava: tietovarannossa voi olla näitä opiskeluoikeuksia, joihin ei ole koskaan liittynyt yhtään opintosuoritusta tai jopa ilmoittautuminenkin on jäänyt tekemättä. Tietovarantoon tullee paljonkin opintosuorituksia henkilöiltä, joihin ei liity pakollisesti tuotavaa opiskeluoikeutta, kuten avoimen opiskelijoiden suoritukset.  

---

Kysymys: FUAS liitouman strategian mukaan opiskelijat voivat suorittaa tietyn määrän opintoja kumppanikouluissa, mikäli opinnot sopivat heidän hopsiinsa. Raha ei liiku koulujen välillä.
Koulut ovat rakentaneet integraation opintohallintojärjestelmien välille, jossa opiskelijoiden tiedot, ilmoittautumiset ja arvosanat liikkuvat automaattisesti. Suoritukset näkyvät todistuksissa ja suoritusotteilla, kuten ne olisivat tehty omassa korkeakoulussa. Opetuksen järjestäjäkoulussa opiskelijat ovat sivuopiskelijoina ja suoritukset ovat tilastoituneet ”korkeakoulujen välisten yhteistyösopimusten” opintopisteiksi.

Ymmärrämme, että oikein olisi viedä suoritukset kotiamkissa hyväksilukuina. Integraatiomme perustuu liittouma-ajatukseen, ja automaation purkaminen olisi suuri takaisku niin ideologisesti kuin käytännön työssä. Voisimmeko korjata tilanteen niin, että siirrämme järjestävässä korkeakoulussa sivuopiskelijat EIVIRTA –hallinnolliseen ryhmään, jotta suoritukset eivät tule Virtaan kahdesti?

Vastaus:

  • Tässä on kyse siitä, onko korkeakoulun myötämä opintosuoritus korkeakoulun oma vai ei. Opintosuorituksen voi myöntää hyväksilukemalla toisen myöntämä opintosuoritus tai eräissä tapauksissa toiselta alihankitun toiminnan perusteella tai sitten opintosuoritus on oma. Jos opintosuoritus on jo jonkun toisen myöntämä, kyseessä on hyväksilukeminen, eikä opintosuoritus ole oma. Opintosuorituksia voi myöntää vain korkeakoulu. Myöntävä-roolilla ilmoitetaan se korkeakoulu, jonka nimissä tieto on eli käytännössä aina se korkeakoulu, jonka rekisteriin kyseinen tieto kuuluu ja joka tietoja lähettää.
  • Mikäli opintosuoritus merkitään kahdessa korkeakoulussa rekisteriin (alla A-tapaus), on lain mukaan molemmista korkeakouluista tuotava opintosuoritus tietovarantoon, koska laki koskee kaikkia opintosuorituksia, niin "sivuopiskelijoita" kuin muitakin. Näin ollen "EIVIRTA"-hallinnollinen ryhmä ei ole ehdotetussa muodossa mahdollinen. 
  • Tilanteen hoitamiseen on eri vaihtoehtoja liittouman tavoitteiden mukaan valittaviksi:
    • A) Tilanteen voi korjata merkitsemällä kotikorkeakoulussa opintosuoritukset hyväksiluetuiksi.
    • B) Opintosuoritus voidaan tallentaa suoraan vain kotikorkeakoulun rekisteriin ja siihen voidaan liittää tieto järjestävä-roolilla siitä, että kyseessä on ollut alihankita. Tällöin kuitenkaan järjestävän rekisteriin ei tule merkintää, koska kyse on yksinomaan kotikorkeakoulun myöntämästä opintosuorituksesta.
    • C) Opintosuoritus voidaan tallentaa suoraan vain kotikorkeakoulun rekisteriin, jolloin järjestäjäkorkeakoulussa ei merkitä mitään. 
  • B- ja C-tapauksissa on mahdollista tehdä järjestävässä korkeakoulussa rekisterimerkintä, joka on luokiteltu mitättömäksi, mikäli tämä auttaa nykyisen integraationne hyödyntämisessä. Tällöin merkintä olisi kuitenkin ainoastaan tiedon siirtämistä varten eikä siis mikään sivuopiskelijan opintosuoritus tai "korkeakoulujen välisten yhteistyösopimusten" opintopiste. Pahimmillaan tässä voi liittouman vuoksi monistua opintosuorituksia kahden korkeakoulun järjestämiksi. Parhaimmillaan tässä on kyse hyvin järjestetystä opiskelijaliikkuvuudesta.

Lisäkysymys, Mika Rintala HAMK: Sillähän ei kai ole merkitystä, miten asiat ovat meidän rekisteriin merkitty, kunhan VIRRASSA ne ovat oikein?

Lauri Jokipii:Rekisterinpåitäjä voi päättää miten tiedot siellä omassa lähdejärjestelmässä ovat, Virrassa vain kopiot lähdejärjestelmästä. Siinä valossa olisi suositeltavaa, että tiedot olisivat myös lähdejärjestelmässä samoin.

Korkeakoulukohtaisten tietointegraatioiden toteutuksen tilanne

Kaikki koulut tuotannossa! Osa kouluista lähettää dataa vain kerran kuukaudessa, toistaiseksi ok mutta em OKM:n kirjeen takia tulevaisuudessa syntyy päiviä jolloin kaikkien koulujen on siirrettävä data käytännössä n. vuorokauden ikkunan sisällä tietovarantoon (Petri Sane esitteli)

  • Tiedon oltava ajantasaista eli käytännössä 22.9 klo 15.00 tai sen jälkeinen tieto, jonka pitäisi olla meidän palvelimella 23.9 klo 23.59. 
  • Haaste varsinkin niille, jotka tekevät työn manuaalisesti
  • Etukäteisvalidointia kehitetään jossain vaiheessa
  • Käytännössä valmistumisia ei mielellään 22.-23.9
  • Heli Peltola LAMK: Tarvittaisiin tietää tarkka kelloaika, milloin tiedot on siirrettävä. Petri: Päivitämme ensiksi kesän aikana oman tiedonsiirtokapasiteettimme, että pystymme käsittelemään tehokkaammin koko datamäärän. Siirto ei itsessään vie aikaa, mutta sen käsittely. Elokuun yhteyshenkilökokouksessa tiedetään tarkemmin. 
  • Mika Rintala (HAMK): Pitääkö toimettavan tiedon olla 22.9 klo 15 tilanne vai käykö > 22092014 15:00. Vastaus: Aika voi olla 15.00 jälkeenkin, mutta ei kovin paljoa. Esim. tieto mitä on tallentunut 22.9 ns. virka-ajan loppuun mennessä. Ne jotka siirtävät tietonsä yöllä, ei todennäköisesti muutu mikään, kun taas ne joilla siirto ajoittuu aamuun tai puoleenpäivään, joutuvat mahdollisesti ajoittamaan uudelleen.
  • Petri Heinonen JY: Miksi siirtotiedostossa ei voi olla 100 uutta valmistunutta, kun kerran tieto viedään kerran vuorokaudessa? Mitä uudelle tiedolle tehdään, siirretäänkö se jonnekin vai kuinka? Vastaus: Tietovarannossa oleva tieto on ajantasaista, jos tiedonsiirto on ajastettu esim. 22.9. Mutta, jos 23.9 olisi valmistujaiset ja sinä päivänä ei tietoa välttämättä siirrettäisi, niin tieto ei olisikaan enää ajantasaista. Tiedon pitää olla ajantasaista kun meidän käsittelyaika ns. sulkeutuu ja kun OKM haluaisi ottaa tietoa haltuunsa.
  • Jukka Kohtanen VY: eli valmistumisia ei 23.9. Vastaus: ajantasaisuuden vaatimus säilyy jos valmistuneita ei juuri silloin tule ja opintosuorituksia ei kirjata järjestelmiin 23.9.
  • Ne jotka tekevät manuaalisesti siirtoja annetaan virka-ajan puitteissa aikaslotti.
  • Aila Kanniainen OY: Eikö tutkinnon suorittaneita voisi poimia päivämäärän perusteella pois? Vastaus: Teknisesti kyllä voisi, se ei ole ongelma. Suurin kysymys tässä on ensisijaisuudet, onko suoritettua tutkintoa tai opiskeluoikeutta. Henkilön statusta voisi vääristää se että lähetettyssä datassa ei näy 23.9 valmistumista, kun hän hakee toiseen korkeakouluun.
  • Aila Kanniainen OY: jos kirjaamisrajoituksia tulee niin niistä laadittava yksityiskohtaiset ohjeet.
  • Lauri Jokipii: On tiedossa että tutkinnot kirjataan ennakoidusti järjestelmiin. Asettaa haasteen sille, joka hakee tietoa esim. Opintopolku-palvelun kautta (pitäisi tietää koska tieto on talletettu tietovarantoon). Me emme ole tiedon käyttäjiä, vaan välittäjiä.
  • Petri Heinonen JY: Haasteena valtavan suoritustiedoston tuottaminen. Siirrytäänkö kesän aikana delta-muotoisen tiedon tuottamiseen. Haasteita tiedonsiirtoihin. Keskimnäiset viittaukset toisiinsa teettää haastetta. Vastaus (Petri Sane): Inkrementiaalisen tiedon tuottaminen jatkokehityksen haaste, ei vielä tänä kesänä mahdollista. Pyritään katsomaan miten tietokantalauseet toimivat.
  • Aila Markus VAMK: Entä jos henkilö hakee samana päivänä, kun saa tutkinnon? Vastaus (Petri Sane): Hankala sanoa, Valmistuva henkilö ei relevantein.
  • Aila Markus VAMK: Kyllä on vaikutusta jatkossa, että henkilöllä on tutkinto. Ei voi estää hakemista, sillä ei ole väliä. Vastaus (Petri Sane): Hakea voi, mutta kuka käyttää tietoa eli kun hakutietoa siirretään eteenpäin, opintopolkuun tms. Kun tehdään tarkastuksia, onko tutkintoa, sillä on sitten väliä.     

     

Muut asiat

  • Tietovarannon tietosisällön integraatio Vipus-palveluun etenemässä, tarvitaan muutamia kouluja pilotoimaan toteutusta datan validoinnin osalta.
    • Vipunen tulee käyttämään reaaliaikaista opintopistetietoa, pilotteja siihen että tarkistetaan että tieto vastaa lähdejärjestelmän tietoa
    • Ajankohta ja aika vielä auki, ensimmäiset paketit mahdollisesti jo kevään-alkukesän aikana
    • Haaga-Helia, Laurea ja SeAMK ilmoittautuivat piloteiksi
    • Petri Heinonen VY: Ehdotus: Jos saisi lisätietoa sftp-hakelmistoon tai levyjaolle voisi jokainen kk arvoida omalta osaltaan, haluaisin lisätietoa; Validointi jokaisen korkeakoulun tavoitteena.
  • Palvelupyyntöjen käsittely, (kooste maalis-huhtikuu, esitys)

Yhteyshenkilöiden seuraavat kokoukset

  • ma 19.5.2014 klo 9:30 -11:00 --> ohjausryhmän kokous 28.5.2014 klo 12 -15:00. Agendalla VIRTA -projektin päättäminen.
  • ma 9.6.2014 klo 9:30 -11:00
  • No labels