Virta_Latausraportti

Latausraportti

Latausraportti laaditaan joka kerta, kun korkeakoulusta on lähetetty tietoa korkeakoulujen valtakunnalliseen tietovarantoon. Latausraportti viedään tiedonsiirtopalvelimelle kunkin korkeakoulun omaan hakemistoon Virta_Latausraportti.txt-nimisenä. Mikäli vanha tiedosto on vielä paikallaan, se ylikirjoitetaan.

Latausraportin merkistökoodaus on UCS-2 Little Endian (UTF-16). Syynä on Microsoft SQL Serverin unicode merkistökoodaus. Latausraporttitiedoston merkistökoodaus on havaittu menevän rikki, kun tiedonsiirtosovellus (esim. winscp) siirtää tiedoston TEXT-muodossa. Kun tiedoston pakottaa siirtymään BINARY-muodossa, merkistökoodaus säilyy eheänä.

Latausraportin muodostusaika on täysin riippuvainen lähetettyjen tiedostojen koosta ja tietojen määrästä sekä systeemiin liittyvien palvelinten ruuhkatilanteesta.

Latausraportin sisältö

Latausraportin rakenne koostuu osioista:

• Info
• Virheet
• Lukumäärät, puutteen "iän" vaikuttavuuden takia lukumääriä lasketaan kolmella eri tavalla.
  
  • Lkm/kaikki
  • Puutteen "ikä" < 5-6v: Puute on tiedoissa, joiden voimassaolo ei ole päättynyt tai on päättynyt korkeintaan (< 6) kuusi vuotta sitten
    • Jos itse puutteella on "syntymäpäivä" (esim. hyväksilukupvm, suorituspvm, virheellinen alkamispvm tai päättymispvm (ajanjaksot limittyvät, paatPvm < alkPvm, yms)
    • Jos puute liittyy opiskeluoikeuteen, niin sen päättymispvm (jos ei ole päättynyt, niin 9999-12-31) 
    • Jos puute ei liity opiskeluoikeuteen (esim. oppijanumero puuttuu), niin otetaan opiskelijan kaikkien opiskeluoikeuksien suurin päättymispvm
    • "5-6" vuotta (aikaväli), jotta puute ilmoitetaan koko sen kalenterivuoden ajan, jolloin puute täyttää viisi vuotta
  • OikPaatPvm > nyt - 6kk: Puutteeseen liittyvä opiskeluoikeus on voimassa tai on päättynyt korkeintaan kuusi kuukautta sitten
    • Jos puute ei liity opiskeluoikeuteen (esim. oppijanumero puuttuu), niin puolen vuoden ikäisuus lasketaan vertaamalla opiskelijan kaikkien opiskeluoikeuksien suurimpaan päättymispäivämäärään
  • Lukumäärät lasketaan näillä samoilla säännöillä myös silloin kun Virrasta pyydetään tilastoa korkeakoulujen puutteiden lukumääristä
    
    • Itse asiassa ei enää lasketa, vaan otetaan lukumäärät tietokannasta, minne ne lasketaan Virtaan latauksen yhteydessä
      • Tietokannassa on historiatietoja huhtikuusta 2025 alkaen, joten puutemäärien kehitystä voidaan seurata helposti
• Puutteet
  
  Enemmän tietoja löydetyistä puutteista avaintietoineen löytyy Tarkistukset_Puutetaulu.csv tiedostossa
  
  Q1/2026 lähtien yksilöidyt puutteet (eikä vain lukumäärät) toimitetaan korkeakoululle samassa yhteydessä kuin tämä latausraporttikin.
  Tiedostot korkeakoulun omassa hakemistossa tiedonsiirtopalvelimella ovat:
  Tarkistukset_Puutetaulu_Viimeisin.csv : sisältää puutteet, jotka katsotaan vaikuttavan tulokseen silloin kun tutkitaan viimeisen 0-6 vuoden ikäisiä asioita
  Tarkistukset_Puutetaulu_Viimeisin_Kaikki.csv : sisältää puutteet kaikenikäisissä tiedoissa
  
  
  

Lyhyt informaatio saapuneista tiedoista ja prosessoinnista

=======================================================================
|| TIEDONSIIRROSSA VIRHEITÄ (estää lataamisen yhteiseen tietovarantoon)

=======================================================================
|| LUKUMÄÄRIÄ (korkeakoulujen tietomallin taulunimet)

=======================================================================
|| PUUTTEITA

Info-kohtaan kerätään tieto koko latausprosessin merkittävimmistä vaiheista aina lopputulokseen saakka.

Virheet-kohtaan kerätään tieto tietokantalatauksen yhteydessä havaituista virheistä, jotka katsotaan niin vakaviksi, että koko lataus käytännössä keskeytetään. Keskeyttäminen tarkoittaa, että tässä saapuneilla tiedoilla EI korvata mahdollisesti aiemmin ladattuja tietoja yhteisestä korkeakoulujen valtakunnallisesta tietovarannosta. Eli tiedot pysyvät vielä vain ja ainoastaan nk. korkeakoulun SA-alueella (Staging Area) Eli alueella, joka on tarkoitettu tiedon lyhytaikaiseen väliaikaissäilytykseen. Virheitä ovat: