Tietovarannon CSV-Dumpit
Korkeakoulujen lähettämät XML-aineistot ladataan XDW-mallin mukaiseen tietokantaan. Tästä latauksesta toimitetaan korkeakoululle takaisin päin CSV-aineisto, käytännössä taulukohtainen dumppi lähetetystä datasta. Nämä datat löytyvät korkeakoulujen siirtokansiosta nimellä kklyhenne_CSVExport.zip.
Koska CSV-tiedostot noudattavat korkeakoulujen valtakunnallisen tietomallin mukaisia taulumäärityksiä, niiden sisältöä ja taulujen välisiä suhteita oppii parhaiten ymmärtämään itse tietomalliin tutustumalla. (XDW-tietomalli)
Yllä olevien lisäksi olemme nyt tehneet Excelillä tehtäviä tarkastuksia helpottamaan uusia aineistoja. Ne löytyvät muiden CSV-tiedostojen joukosta ja erottuvat Tarkistukset_- alkuisella nimellään. Näitä lähdeaineistoja on tällä hetkellä seitsämän:
Tarkistukset_lukukausi_ilmoittautuminen.csv
Tarkistukset_Opiskelija.csv
Tarkistukset_Opiskeluoikeus.csv
Tarkistukset_Opiskeluoikeusjakso.csv
Tarkistukset_Opintopiste.csv
Tarkistukset_AvoimenOpintopisteet_Jarj.csv
Tarkistukset_Opintosuoritus on jaettu suorituspäivämäärän perusteella :
- Tarkistukset_Opintosuoritukset_2009-.csv # 2009 ja vanhemmat suoritukset
- Tarkistukset_Opintosuoritukset_201x.csv
- Tarkistukset_Opintosuoritukset_202x.csv
Näissä koosteista on riisuttu kaikki tietokannan toimintaan ja sisäiseen eheyteen liittyvä viitetieto. Ensimmäinen yksilöivä sarake on kaikissa tiedostoissa henkilötunnus. Lisäksi tietoa on tiivistetty siten, että se ei leviä useammalle riville. Esimerkiksi Tarkistukset_Opiskelija tiedostossa jokainen rivi vastaa aina yhtä opiskelijaa ja hänen henkilötietojaan. Tarkistukset_Opintosuoritus tiedostossa yksi rivi vastaa aina yhtä opintosuoritusta jne.
Yllä olevasta tiivistyksestä johtuen osa aineistossa on pilkuilla eroteltuna listana tietosolussa. Hyvä esimerkki tästä on Opiskelija aineiston pätevyys tiedot. Henkilöllä voi olla useampi pätevyys, jolloin ne löytyvät samalta riviltä, pilkuilla erotettuna. Nämä listat ovat järjestyksessä, eli sarakkeiden välillä tiedot liittyvät toisiinsa vastaavasti.
Kaikkia tietoja ei ole tuotu vaan on pyritty valitsemaan ne sarakkeet, jotka ovat tietojen tarkistamisen kannalta oleellisimmat. Tarkistus raportteja parannetaan ja kehitetään edelleen saadun palautteen pohjalta.
Puutteet ja virheet
Latauksen aikana havaitut virheet ja puutteet raportoidaan Tarkistukset_Puutetaulu.csv tiedostossa. Kyseinen luettelo perustuu Virta_latausraportin tekemiin tarkastuksiin. Tarkoitus on että tämän aineiston avulla on helpompi paikantaa ne osat siirrettävästä aineistosta, jotka aiheuttavat latausvirheitä. Puute Listassa raportoidaan kaikki ne avaintiedot XML-siirtotiedostoista, jotka aiheuttivat virheitä latauksessa tai sisälsivät muuten puutteellista tietoa.
CSV-aineistojen kuvaukset
Tarkistukset_Opiskelija
| CSV-sarake | lähdetaulu | kommentti |
|---|---|---|
| Henkilotunnus | Henkilo | |
| Etunimet | Henkilo | |
| Sukunimi | Henkilo | |
| Avain | Opiskelija | opiskelijaAvain |
| kirjoihintulopaivamaara | Opiskelija | |
| kunta_koodi | Kunta | |
| kieli_koodi | Kieli | |
| maan_koodi | Maa | Mikäli useampia pilkulla eroteltu lista |
| patevyys_koodi | Patevyys | Pätevyyden tunniste (Mikäli useampia pilkulla eroteltu lista) |
| patev_opintosuoritus | Opintosuoritus | Pätevyyden synnyttänyt opintosuorituksen avaintieto |
| patev_alkpvm | Henkilon_Patevyys | Pätevyyden alkupvm |
Tarkistukset_Lukukausi_ilmoittautuminen
| CSV-sarake | lähdetaulu | kommentti |
|---|---|---|
| Henkilotunnus | Henkilo | |
| opiskelijaAvain | Opiskelija | |
| Alkamispaivamaara | Lukukausi_ilmoittutauminen | |
| Paattymispaivamaara | Lukukausi_ilmoittutauminen | |
| Ilmoittutaumispaivamaara | Lukukausi_ilmoittutauminen | |
| Ylioppilaskunnan_jasen | Lukukausi_ilmoittutauminen | |
| YTHS_maksu | Lukukausi_ilmoittutauminen | |
| ilmoittautumisen_tila_koodi | Lukukausi_ilm_tila | |
| ilmoittutumisen_tila_selite | Lukukausi_ilm_tila | |
| opiskeluoikeuden_avain | Opiskeluoikeus |
Tarkistukset_Opiskeluoikeus
| CSV-sarake | lähdetaulu | kommentti |
|---|---|---|
| Henkilotunnus | Henkilo | |
| koulutusala | Koulutusala | |
| opiskeluoikeuden_tyyppi | Opiskeluoikeuden_tyyppi | |
| Avain | Opiskeluoikeus | |
| Aikuiskoulutus | Opiskeluoikeus | |
| Siirtopaivamaara | Opiskeluoikeus | |
| Lahdejarj_op_oik_tunnus | Opiskeluoikeus | |
| Opintojen_aloituspaivamaara | Opiskeluoikeus | Ei tällä hetkellä käytössä |
| Alkamispaivamaara | Opiskeluoikeus | |
| Paattymispaivamaara | Opiskeluoikeus | |
| Avoimen_vayla | Opiskeluoikeus | |
| Maisteriohjelma | Opiskeluoikeus | |
| Laajuus | Opiskeluoikeus | |
| ens_alkpvm | Op_oikeuden_ensisijaisuus | Ensisijaisuuden alkamispäivämäärä |
| ens_paatpvm | Op_oikeuden_ensisijaisuus | Ensisijaisuuden päättymispäivämäärä |
| Organisaatio | Organisaatio | Organisaation koodi (jos useampi pilkuilla eroteltu lista)* |
| org_rooli | Organisaation_rooli | roolin koodi* |
| org_osuus | Op_oikeuden_organisaatio | Osuustieto %* |
Tarkistukset_Opiskeluoikeusjakso
| CSV-Sarake | lähdetaulu | kommentti |
|---|---|---|
| Henkilotunnus | Henkilo | |
| avain | Opiskeluoikeus | |
| kunta_koodi | Kunta | |
| koulutuskoodi | Koulutusala | Opiskeluoikeusjakson koulutusalakoodi |
| kieli_koodi | Kieli | Opiskeluoikeusjakson kieli |
| rahoituslahde_koodi | Rahoituslahde | |
| Koulutusmoduulitunniste | Opiskeluoikeusjakso | |
| Valtakunn_koul_mod_tunniste | Opiskeluoikeusjakso | |
| Alkamispaivamaara | Opiskeluoikeusjakso | |
| Paattymispaivamaara | Opiskeluoikeusjakso | |
| patevyys | Patevyys | Pätevyyskoodi, jos useampi pikulla erotettu lista* |
| Alkamispaivamaara | Opiskeluoikeusjakson_patevyys | * |
| Paattymipaivamaara | Opiskeluoikeusjakson_patevyys | * |
Tarkistukset_Opintosuoritus
| CSV-Sarake | lähdetaulu | kommentti |
|---|---|---|
| Henkilotunnus | Henkilo | |
| Henkilo_Avain | Henkilo | Henkilön järjestelmäkohtainen tunniste |
| Opintosuoritus_Avain | Opintosuoritus | Opintosuorituksen avaintieto |
| opiskeluoikeusAvain | Opiskeluoikeus | Opiskeluoikeuden avaintieto |
| opiskeluoikeus_tyyppi | Opiskeluoikeus | Opiskeluoikeuden tyyppikoodi |
| opiskeluoikeus_siirtopvm | Opiskeluoikeus | Opiskeluoikeuden siirtopäivämäärä |
| Kieli_Koodi | Kieli | Kielen koodi (fi, se...) |
| Arvosana | Arvosana | Arvosanan koodi |
| Arvosana_asteikko | Arvosana_Asteikko | Arvosana-asteikon nimi |
| Tutkinto_Koodi | Tutkinto | Tutkinnon kooditieto |
| Opetusharjoittelun_Koodi | Opetusharjoittelun_tyyppi | Opetusharjoittelun tyyppikoodi |
| Opintosuorituksen_laji | Opintosuorituksen_laji | Opintosuorituksen lajin koodi |
| Koulutusaste | Koulutusaste | Koulutusasteen koodi |
| Koulutusala | Koulutusala | Koulutusalan koodi * |
| Luokittelu | Opintosuorituksen_luokittelu | Luokittelun koodi * |
| Organisaatio_Koodi | Organisaatio | Organisaatioyksikön koodi * |
| Organisaatio_Rooli | Organisaation_rooli | Organisaatioyksikön roolin koodi * |
| Suorituspaivamaara | Opintosuoritus | |
| Hyvaksilukupaivamaara | Opsuorituksen_hyvaksiluku | |
| Opinnaytetyo | Opintosuoritus | |
| Hankkeistettu | Opintosuoritus | |
| Nimi | Opintosuoritus | |
| Koulutusmoduulitunniste | Opintosuoritus | |
| Valtakunn_koul_mod_tunniste | Opintosuoritus | Tuleva valtakunnallinen koulutusmoduulitunniste |
| Laajuus | Opintosuoritus | |
| Opintoviikkolaajuus | Opintosuoritus | |
| Tki_toiminnan_laajuus | Opintosuoritus | |
| Tki_harjoittelun_laajuus | Opintosuoritus | |
| Tki_muut_laajuus | Opintosuoritus | |
| Lisatiedot | Opintosuoritus | |
| lehtitaso | 0 | 1 = lehtitason suoritus. Kertoo sisältääkö suoritus jonkin toisen opintosuorituksen. | |
| perustutkinto | 1 = Opiskelijalla on suoritushetkellä voimassa oleva opiskeluoikeus alempaan - 2 = Opiskelijalla on suoritushetkellä voimassa jatkotutkinto-oikeus (5,6,7) 0 = Opiskelijalla on suoritushetkellä voimassa muu opinto-oikeus -1 = ei suoritushetkellä voimassa olevaa oikeutta |
Tarkistukset_Puutetaulu
| CSV-sarake | kommentti |
|---|---|
| pvm | Päivämäärä koska tarkistus ajettu |
| tyyppi | PUUTE | VIRHE ks. latausraportti |
| virhekoodi | Virheen / Puutteen tunniste |
| kuvaus | Puutteen / Virheen kuvaus |
| avainsarake | Viittaus XML-tiedoston avain tietoon esim. opiskelijaAvain, opintosuoritusAvain |
| Avain | Avaimen koodiarvo |
| opiskeluoikeusAvain | Opiskeluoikeuden avain mikäli tarkistukseen liittyy opiskeluoikeus |
| Lisatieto | Mahdollinen lisätieto havaitulle puutteelle. |
| virhTiedPvm | Puutteeseen liittyvän tiedon päivämäärä, esim. hyväksilukupäivämäärä, suorituspäivämäärä, 31.12.9999 jos puute on "paatPvm < alkPvm" |
| opisOikAktPaatPvm | Opiskeluoikeuden aktiivisuuden päättymispäivämäärä: suurin opiskeluoikeuden tiloista löytyvä päivämäärä (tiloilla 1 ja 2 alkPvm, muilla paatPvm); ellei täten löydy mitään päivämäärää, niin otetaan opiskeluoikeuden päättymispäivämäärä; senkin puuttuessa 31.12.9999. |
| koulutusmoduulitunniste | Apuna korkeakoulun etsiessä virheeseen liittyvä tapaus käyttöliittymään (eivät pysty hakemaan avaimella) |
| suoritusNimi | Apuna korkeakoulun etsiessä virheeseen liittyvä tapaus käyttöliittymään (eivät pysty hakemaan avaimella) |
| opisOikPaatKulKkLkm | Kuinka monta kuukautta on sen opiskeluoikeuden päättymisestä kulunut, johon puute liittyy. |
Tarkistukset_AvoimenOpintopisteet_Jarj
Avoimen korkeakoulun suoritukset järjestävän organisaation mukaan.
| CSV-sarake | Kommentti |
|---|---|
| Vuosi | Kalenterivuosi jonka aikana opintopisteet ja opiskelijat on haettu |
| Oppilaitostyyppi | Oppilaitostyyppi, järjestävä organisaatio |
| Opintopisteet | Suoritetut opintopisteet |
Opintopisteiden Tarkistukset
Tälle raportille on luokiteltu ja summattu opintosuoritukset OKM:n suorien tiedonkeruiden periaatteiden mukaan.
Tietoja voi vertailla aikaisempien vuosien osalta Vipusen toteutustietoihin.
Yliopistot
Amattikorkeakoulut
http://vipunen.csc.fi/fi-fi/ammattikorkeakoulutus/opintosuoritukset/Pages/Opintopisteet.aspx
Muista tarkistuksista poiketen kyseinen CSV-raportti on hiukan erilainen riippuen siitä onko kyseessä AMK vai yliopisto.
Tarkistukset_Opintopiste (Yliopistot)
| CSV-sarake | kommentti |
|---|---|
Vuosi | Kalenterivuosi jolta opintopisteet on laskettu yhteen |
Koodi | Koulutusalakoodi |
| Kuvaus | Koulutsalakoodin selite |
| perustutk_opiskelijat | Kaikki perustutkinto-opiskelijoiden opintopisteet |
vierask_suoritukset | Vieraskielisen perustutkinto-opetuksen opintopisteet |
kv_vaihto | Vaihto-opiskelijoiden opintopisteet |
kk_yhteistyo | JOO-oikeuden suoritukset |
avoin_kk | Avoimen korkeakouluopetuksen suoritukset |
erillinen_opinto_oikeus | Erillisillä opinto-oikeuksilla tehdyt suoritukset |
erillinen_opinto_opettaja | Erillisillä opinto-oikeuksilla tehdyt opettajankoulutuksen suoritukset |
ulkomailta_hyv_luet | Ulkomailla suoritetuista hyväksiluetut opintopisteet |
MuunKuinKorkeakoulun | Muun kuin korkeakoulun kanssa tehtyyn yhteistyösopimukseen perustuvan opintopisteet |
KvSuomiVieraana | Kansainvälisille opiskelijoille suunnatut suomi tai ruotsi toisena kielenä suoritetut opintopisteet. Suomi toisena tai vieraana kielenä opintopisteet |
KvRuotsiVieraana | Kansainvälisille opiskelijoille suunnatut suomi tai ruotsi toisena kielenä suoritetut opintopisteet. Ruotsi toisena tai vieraana kielenä opintopisteet |
Tarkistukset_Opintopiste (Ammattikorkeakoulut)
| CSV-sarake | kommentti |
|---|---|
| Vuosi | Kalenterivuosi jolta opintopisteet on laskettu yhteen |
| Koodi | Koulutusalakoodi |
| Kuvaus | Koulutsalakoodin selite |
perustutk_opiskelijat | Kaikki perustutkinto-opiskelijoiden opintopisteet |
TKI_toiminnan_laajuus | TKI opinnäytetyöt |
| TKI_harjoittelun_laajuus | TKI-hankkeessa suoritetut opintopisteet / harjoittelu |
| TKI_muut_laajuus | TKI-hankkeessa suoritetut opintopisteet / muu opiskelu |
vierask_suoritukset | Vieraskielisen perustutkinto-opetuksen opintopisteet |
avoin_kk | Avoimen korkeakouluopetuksen suoritukset |
erillinen_opinto_oikeus | Erillisillä opinto-oikeuksilla tehdyt suoritukset |
kk_yhteistyo | JOO-oikeuden suoritukset |
kv_vaihto | Vaihto-opiskelijoiden opintopisteet |
maahanm_val_koulutus | Maahanmuuttajien valmentava opetus |
ulkomailta_hyv_luet | Ulkomailla suoritetuista hyväksiluetut opintopisteet |
MuunKuinKorkeakoulun | Muun kuin korkeakoulun kanssa tehtyyn yhteistyösopimukseen perustuvan opintopisteet |
KvSuomiVieraana | Kansainvälisille opiskelijoille suunnatut suomi tai ruotsi toisena kielenä suoritetut opintopisteet. Suomi toisena tai vieraana kielenä opintopisteet |
KvRuotsiVieraana | Kansainvälisille opiskelijoille suunnatut suomi tai ruotsi toisena kielenä suoritetut opintopisteet. Ruotsi toisena tai vieraana kielenä opintopisteet |
Tarkistukset_Lehtitaso
| CSV-sarake | kommentti |
|---|---|
| suoritus_avain | Opintosuorituksen Avain |
| laajuus | Kokoavan opintosuorituksen laajuus |
| lehti_laajuus | Lehtitasojen yhteenlaskettu laajuus |
| db | Korkeakoulun tunniste |
| suoritus_tyyppi | 1=tutkinto 2=Muu opintosuoritus |
| suorituspäivämäärä | Opintosuorituksen (kokoava) suorituspäivämäärä |
| OpiskelijaAvain | Henkilön avaintieto |
Aineistojen lataaminen Exceliin
- Käynnistä Excel ja valitse välilehti Data ja From Text
2. Valitse haluamasi CSV tiedosto ja paina Import
3. Tiedoston muoto on Delimited ja merkistökoodauksena UTF-8 ja paina Next
4. Valitse erottimeksi Semicolon ja paina Next.
5. Viimeisessä vaiheessa voit vielä valita kentän tyypin. Joissain tapauksissa avaintiedoissa voi olla mukana etunollia. Mikäli ne haluaa säilyttää (helpottaa tiedon löytymistä lähdejärjestelmistä), pitää kyseinen sarake importoida exceliin Text tyyppisenä.
6. Valitse taulukko johon haluat tuoda siirtotiedoston datan.