Analytiikka palveluiden kehittämiseen - pisteen avainkysymykset

  • Miten kehitetään uusia palveluita ja kasvatetaan osaamista tiedolla (”iso kuva”)?

  • Palveluvalikoiman arvioiminen/kehittäminen/lopettaminen - tietoon perustuvaa johtamista?

  • Toimiiko palvelut, löytyykö ne ja vastaavatko tarpeisiin?

  • Ideoiden onnistuminen?

  • Mihin kapasiteettia menee ja mihin sitä tarvitaan jatkossa?

  • Vuorovaikutuksen toimivuus eri osapuolten (stakeholders) välillä?


Yhteenveto

Pisteen kuvaus: Tuula Tutkijan ongelma hallinnollisena henkilönä, ovatko hänen organisaationsa palvelut ja hänelle tarjolla oleva palveluvalikoima sellainen, että siitä on hyötyä hänelle. Meneekö resurssit oikeaan osoitteeseen, ja ovatko tutkijat tyytyväisiä siihen mitä saavat.

Nosteet: Analytiikka pisteellä tunnistettiin ongelmakenttää ja hahmotettiin ratkaisuideoita. Keskusteluissa keskityttiin enemmän siihen vaiheeseen, jossa tutkija käyttää palveluita tutkimukseensa. Mikäli tietoa on analysoitavaksi, se on pirstaloitunut korkeakoulun sisällä tai palvelutarjoajalla - saati sitten korkeakoulujen välillä, jolloin analytiikan hyödyntäminen laajasti ei onnistu. Prosessit ovat hyvin uniikkeja. Analytiikkaan liittyen keskusteltiin myös tukipalveluiden tarpeesta, ja tukipalveluihin liittyvän yhteistyön lisäämisestä korkeakoulujen ja sidosryhmien kesken. Tutkimustiimien käytössä olevat korkeakoulujen omat IT-tukitiimit on koettu hyväksi käytännöksi. Olisi tärkeä löytää vastinpareja palvelun tarjoaja - korkeakoulu(t) tutkijan tukipalvelut välillä. Data management plan nostettiin keskusteluun keskeisenä tiedonlähteenä, jota ei juuri hyödynnetä. Yhteistyötä kaivattiin myös prosessikehitykseen ja palvelumuotoiluun, jotta korkeakoulujen ei tarvitsisi erikseen ratkoa samoja ongelmia.

Tulisi miettiä kuinka saadaan tietoa yksittäisen tutkijan käytöstä - mitä palveluita käyttää, oliko tyytyväinen vai tyytymätön ja miksi. Puhuttiin sekä primäärisestä tiedosta, eli esimerkiksi käyttötilastoista sekä sekundäärisestä tiedosta, kuten tyytyväisyydestä. Keskusteluissa peräänkuulutettiin näkyvyyttä palveluita koskevaan käyttötietoon ja sen analysointiin palvelukehityksen tarpeisiin. Sekundaarinen tieto palveluiden käytöstä koettiin niinikään tärkeäksi ja hyödylliseksi. Korkeakoulujen käytännöt tiedon keruuseen vaihtelevat: mm. EFQM, retrospekti ja Top 10 palvelut -listaus on todettu hyviksi menetelmiksi käyttökokemusten selvittämisessä. Palautekriteeristö tulee määritellä yhdessä ja palautteen kerääminen täytyy olla jatkuvaa ja automaattista, jotta saamme dataa koko prosessista.

Keskeiset kehitystarpeet:

  • Mistä saadaan tietoa palveluiden käytöstä ja käyttämättömyydestä?
    • Mitä tietoa tarvitaan? Kuka kerää ja mistä? Mitä palveluiden volyymi/käyttötietoja voidaan/pitää analysoida?
    • Palvelumuotoilu & palveluntarjoajille kertyvä data ja analytiikka - palvelunhallinnan näkökulma
  • Tukipalveluiden tarve ja yhteistyön lisääminen korkeakoulujen kesken ja tukiverkostoissa
  • Sekundaarinen tieto käytöstä
    • Esimerkiksi EFQM, retrospektiivi, top10 palvelut tarpeiden arviointiin


Ryhmäkeskustelusta heränneet ajatukset täydennetään seuraavien otsikkojen alle:

UUDET AVAINKYSYMYKSETFAKTATHUOLET / ONGELMATRATKAISUIDEAT JA PARHAAT KÄYTÄNNÖTPARKKIPAIKKA

Mikäli keskustelussa ymmärretään, että x-kysymys ei ole relevantti/ pääongelma → syntyy uusi kysymys

Teemaan liittyvät tosiasiat ja tiedotTeemaan liittyvät huolenaiheet ja ongelmatErotellaan helpot ja haastavat ratkaisuideat, sekä Best PracticesTeemaan liittymätön keskustelu ja aiheet

Keskityttiin erityisesti:

Palveluvalikoiman arvioiminen/kehittäminen/lopettaminen - tietoon perustuvaa johtamista?


1) HY:llä kerätään asiakastyytyväisyyttä palveluihin, helppariin yhteydessä → saadaan tietoa mitä kaivataan.

3) Joku aika (muutama vuosi) sitten kysyimme tutkijoilta kaikista palveluista, FileSender ylivoimainen ykkönen. Sen jälkeen olemme kysyneet vain suppeammin. Olisi tarvetta volyymitiedolle (CSC:ltä varmaan saisi), mutta myös esim. Googlet jne, mitä käytetään.

4) On järjestetty infosessioita, omasta ja muiden toimesta. Ei tulla, jos ei ole akuutti asia, kuten kuulimme aiemmassa esityksessä. Tiettyihin tilaisuuksiin tullaan, workshopeissa tehdään toisinaan yhdessä, jos on esim. hakemus meneillään tai muuten kriittinen tarve.

11) Opintopuolella opintoanalytiikkaryhmä CSC:llä. 

13) Rehellisyyden nimissä: korkeakoulussa ei ole systemaattista, kuinka palveluja tehdään ja kehitetään. Ei esim. ITILiä.

14) Sekä työvälineissä, että prosesseissa kehittämistä korkeakoulussa.

2) Helpparista saadaan palautetta enemmän geneerisiin palveluihin, kuten läppäreihin. Tutkijoiden palvelut ovat spesifisiä, esim. CSC:n palveluita. Vähemmän systemaattisesti asiakkaan kanssa, ei analyysia paljoakaan.

5) Lähituen tulisi tietää enemmän, olla mukana arjessa, osata linkittää.

6) Metropolia: aineiston hallintaan ei ole tukipalveluja, muutenkin ollaan alkuvaiheessa tutkijan palveluiden suhteen. Yritin etsiä oman työn tueksi analytiikkaa, mitä palveluja tarvitaan. Tietoa oli hyvin vaikea löytää. Emme välttämättä edes tiedä, mitä talosta lyötyy.

8) Miten ryhmä päättää, mitä palveluja käyttää, jos osallistujat ovat monista korkeakouluista?

12) Ideapankki on hyvä, mutta jos puhutaan kuinka analysoidaan/perustellaan sitä, että tarvitaan jotain tiettyä palvelua, eri asia.

15) Tietävätkö tutkijat välttämättä, mitä puuttuu?

17) Esim. luottamuksellisen tiedon suhteen on aukkoja.

HELPPO 7) Olisi hyvä nähdä kokonaisuus eri palveluntarjoajista - analyyttisemmin kuin mututuntumalla.

HAASTAVA 9) Aallossa pitää tehdä data management plan - voisiko se olla keino? Tietyt kentät, jotka pitää täyttää. Saadaanko suunnitelmat (data management plan) keskitetysti johonkin? Että niitä hyödynnettäisiin, eikä olisi vain asia, joka on pakollinen paha.

?10) Määritellään tiedon kriteerit, joita tulisi seurata, sitten kehitetään niitä. Määritellään tavoite, joka yritetään saavuttaa, ei riitä, että tiedetään, että käytetään FileSenderiä.

HELPPO 16) Palvelumuotoilun menetelmissä monesti ensin haastatellaan, sitten yritetään määrällistää. Keitä lähestyä? Lähtee käyttäjistä.


UUDET AVAINKYSYMYKSETFAKTATHUOLET / ONGELMATRATKAISUIDEAT JA PARHAAT KÄYTÄNNÖTPARKKIPAIKKA

Mikäli keskustelussa ymmärretään, että x-kysymys ei ole relevantti/ pääongelma → syntyy uusi kysymys

Teemaan liittyvät tosiasiat ja tiedotTeemaan liittyvät huolenaiheet ja ongelmatErotellaan helpot ja haastavat ratkaisuideat, sekä Best PracticesTeemaan liittymätön keskustelu ja aiheet

Käytiin läpi aiempaa keskustelua, mutta lähdettiin liikkeelle erityisesti kysymyksestä:

Toimiiko palvelut, löytyykö ne ja vastaavatko tarpeisiin?

2) Hyvin usein puhutaan palvelutarjonnasta. Heittäisin, että mikä on palvelun tarve? Se ei ole käsillä missään, oleellisimmin osin. Yleensä huonoksi todettu tapa, että keksimme että mitä asiakkaamme haluavat ja pidetään peukkuja, että sitä halutaan.

15) Akateeminen vapaus. Siihen vedotaan joka tilanteessa.

17) On toisaalta asioita, jotka on pakko tehdä, esim. rehtorin tarpeisiin.

18) Mutta Tuula Tutkijaa ei kiinnosta ministeriölle laitettavat raportit. 'Raportti on tehtävä ministeriöön' on huono argumentti; sama kuin miksi ei motivoi liittyä järjestöön, jossa perusteena on, että pitää saada lisää jäseniä.

1) Tutkijan palveluiden kohdalla: mihin tieto kertyy? Analytiiikka on hyödytöntä, jos ei ole tietoa. Tutkijoiden kohdalla paljon on hiljaista tietoa. Asiat toimii, kun tiedät jonkun, joka tietää, kuten esityksissäkin kävi ilmi. Analytiikka istuu tähän toimintaan huonosti. Miten tieto saadaan talteen? Sen perusteella voidaan kehittää palveluita.

11) Ei vastaa tarvetta...? (ohi)

12a) Tutkimustiedon hallintajärjestelmän kehittäminen. Tutkijan polun kuvauksessa yhdistyy useampi eri palvelu, jotka ovat siiloutuneita palveluita yliopistomaailmassa. Tärkeää, että tietäisi, mitkä ovat laadukkaita, mistä saa, selkeästi. Monesti analytiikkaa lähestytään raportoinnin kannalta, esim. ministeriöön. Ovatko tiedot oikein ja eheitä? Nämä ovat haasteita. Uutena asiana, miten saadaan tutkimuksessa käsiteltävä data hallintaan. Datanhallinnan suunnitelman tulisi olla päivittyviä, mkl. eettiset näkökulmat. Koko polku, olemme lähteneet kehittämään. Tietoturva, tietosuoja.

12b) Haasteita, kun tutkimukset ovat niin erilaisia. Valtavia, kansainvälisiä, monitieteellisiä hankkeita, ja toisaalta hyvin pieniä. Kaikkea pitäisi voida hallita.

14) Yksikään henkilö ei tiedä kaikkea tai huolehdi datan laadusta. Kaikki osapuolet ovat tiettyjen asian asiantuntijoita. Ihmisinä ei olla aina valmiina muutokseen. Päättäjät ei jaksa tehdä leimausta.

16) Korkeakoulumaailma on erikoinen. Miten saamme myytyä tutkijoille, että se on hyväksi, että pääsemme analysoimaan, mitä tarvitsette; tästä on apua.

BEST PRACTICE 3) Tutkijan palveluiden arviointi pitäisi tehdä korkeakoulussa. Teemme ydinprosessien mallia/kuvaa tällä hetkellä. Jos tiedämme, mikä on prosessi, näemme, mitä puuttuu. Kehittämistä ei koskaan pitäisi tehdä ilman, että tietää missä olemme. Datan perusteella pystymme järkevästi lähteä tekemään. Pitää kuunnella paljon.

HELPPO? 4) Itsearviointia, EFQM.

HELPPO? 5) Kevyempi malli: agile retrospekti. Nopea heitto: tutkijat saisivat itse tehdä arvion 'top 10 palvelut'. Pudotettaiisin pois niitä, joita ei haluta.

6) Itsearviointi yhden päivän aikana. Ei tehdä ratkaisuehdotuksia.

7) Nykytilan kartoitus, esim top 10. Mitä meillä on, sidosryhmillä, mitä tutkijat eri aloilla käyttää. Tukisivat toisiaan.

8) Retrospekti pyörii jatkuvasti, ei tehdä kerran.

9&10) Itsearviointi: raportti, kehityssuunnitelma. Käytetty 10 vuotta Jyväskylässä. Paljon väkeä, jotka tuntevat sen; todella tehokas. Kuullaan ihmisiä, joita asia koskettaa.

BEST PRACTICE?13a) Aallossa aloituspalaveri, hankeasiantuntija; olisi palveluportfolion asiantunemusta, IT asiantuntija, Grand writer (uusi rooli?). Yhdessä katsotaan päätarpeet. Sen jälkeen hankeasiantuntija on kontaktipiste. Sopimusasiat, jne. Tämä on meidän palvelu heille. (Puhujalla monta roolia ja vastuuta, joten tuntee edelliset haasteet).

HELPPO/BEST PRACTICE 13b) Olen myös tilastovastaava: datan laatu on hirveä, käsityötä. APL, "Aalto project list", Eduuni alustana, CSC:n kanssa kehitetty: tutkimushankkeille kehitetty työkalu.

HELPPO?19) Tiedon näkyvyys, voisi näyttää tutkijoille tilastoja. Sitten kun tieto väärin tai puuttuu, kyllä huomataan.


UUDET AVAINKYSYMYKSETFAKTATHUOLET / ONGELMATRATKAISUIDEAT JA PARHAAT KÄYTÄNNÖTPARKKIPAIKKA

Mikäli keskustelussa ymmärretään, että x-kysymys ei ole relevantti/ pääongelma → syntyy uusi kysymys

Teemaan liittyvät tosiasiat ja tiedotTeemaan liittyvät huolenaiheet ja ongelmatErotellaan helpot ja haastavat ratkaisuideat, sekä Best PracticesTeemaan liittymätön keskustelu ja aiheet

Käytiin läpi aiempaa keskustelua, mutta lisätiin myös kysymys: Vuorovaikutuksen toimivuus eri osapuolten (stakeholders) välillä?



5)


3) Olisi mielenkiintoista nähdä käyttöasteita palveluista. Raportteja on, muttei välttämättä kovinkaan hyödyllistä. Esimerkki: näen, että esim. 45 teraa varattu. Sitten kuulin, että 44 yhden varaama. Sitten en ollut varma, oliko vielä käytössä, tutkija oli jo lähtenyt. Käyttäjämääriä, onko käyttö aktiivista, olemmeko mitanneet käyttäjätyytyväisyyttä? Esim pitkäaikaistallennuksen käyttäjä, miksi lähtee? Välillä kuulee asiantuntijoilta lukuja, projektitasolla, paljon hyödyllisempää kuin tietty prosenttiluku kokonaiskäytöstä.

12) Monitieteellinen yliopisto, pyrimme saamaan mukaan esim. humanisteja. Erilaiset käyttäjäkunnat huomioitava! Miten tunnistetaan pro – vähemmän kokenut.

13) Aallossa taidepuoli: tekninen osaaminen ei välttämättä ole kovin korkealla, tikettien määrä saattaa olla korkea.

17) Aallossa jokaiselle CSC:n palvelulle applikaatio-omistaja. Mutta CSC:ssä organisaatio muuttuu paljon ja usein, vastinpari ei ole aina tiedossa. Vastinparien löytäminen.

18) Esim. jos haluamme viedä tietoa uusista mahdollisuuksista, ominaisuuksista; tiedon pitäisi kulkea koululle saakka. Ratkaisujen omistajilla parhaat kontaktit kouluun. Jos CSC:n vastinpari ei kerro näistä asioita, niin tieto ei kulje, teette työnne vaikeammaksi.

20) Mikäli korkeakoululla hanke, jonka takana monta projektia (CSC:n termein ´Common project'), miten saa tiedon loppukäyttäjästä?

HELPPO 1) Aallossa omien laskentapalveluiden kohdalla saamme irti tietoa käyttäjistä; tietty prosentti tutkijoista, jotka käyttävät. Käyttäjästatistiikkaa, kuten resurssien varaus ja käytöstä. Voisiko tämän tehdä myös CSC:n palveluiden kohdalla? Science IT Triton klusteri. Voisimme ohjata tämän tiedon pohjalta.

HELPPO 2) Moderoija: CSC:n asiantuntijapalvelu, osaa kertoa kuinka optimoida käyttöä. Voisi jossain määrin skaalata, mutta tarvitaan kumpaakin.

4) Käyttäjätyytyväisyys on ainakin. IDAsta ei aiemmin pidetty, mutta nyt on uusittu: jos voisimme sanoa, että käyttäjätyytyväisyys on kasvanut, auttaisi markkinoinnissa tutkijoille.

HELPPO? 6) Olisi hauskaa kuulla, jos jossain muussa korkeakoulussa ollaan tyytyväisiä palveluun. Voisimme selvittää, että miksi näin? Johtuuko muusta kuin palvelusta, esim ihmisistä.

HELPPO 7) Aikaulottuvuus: jos nähdään trendejä käytössä, mitä tapahtui, miksi?

HELPPO? 8) Tyytyväisyyskysely kuulostaa hyvältä, kun se on hyvin helppo täyttää. Tähtiluokitus. (volt? tms)

HELPPO? 9) NPS olis oikein hyvä. Tarkempaa analyysia luvuista.

HELPPO 10-11) Toinen pyyntö: seuraamme tarkasti tikettejä. Emme tiedä CSC:n tiketeistä. Vaikka on vastaava tukihenkilö korkeakoulussa, meiltä ei aina tiedetä mistä ongelmista pitää olla tietoinen, jos menee tiketti palvelun tarjoajalle suoraan. Jos voisimme pyytää ja saada tikettejä tietoomme, tikettejä voisi kohdentaa ja sen perusteella järjestää esim. yhdessä koulutusta. Tikettiraportti, aihealueet, joihin tiketit kohdistuivat, hyödyntää näitä. Esim. jos muutamalta käyttäjältä paljon tikettejä, tiedämme, että tarvitaan lisää koulutusta tälle henkilölle.

14) Määritellään yhdessä palvelun tarjoaja – korkeakoulu, mitä kysytään, ja miten saadaan tieto loppukäyttäjälle.

15) NPS – palautteen antamisen mahdollisuus automaattisesti palvelun / työvälineen kautta.

BEST PRACTICE 16) Aalto: meillä tikettiraportti on hyvä, voidaan jakaa. Joudumme vastaamaan johtoryhmässä, jos tiketit olleet kauan auki, lähestymme ryhmää, miksei ole hoidettu.

HELPPO 21) Kun teette (esim. CSC) palvelumuotoilua, olisi hyvä nähdä inputti. Korkeakoulut tekevät myös, ehkä eri tasolla, tulisi tehdä yhdessä jotta voidaan hyödyntää ja sovittaa yhteen.

19) Tunnistaminen? Henkilö, joka palvelun tarjoajalla vastaa palvelusta, pitäisi luoda verkosto korkeakoulujen yhteyshenkilöihin.


UUDET AVAINKYSYMYKSETFAKTATHUOLET / ONGELMATRATKAISUIDEAT JA PARHAAT KÄYTÄNNÖTPARKKIPAIKKA

Mikäli keskustelussa ymmärretään, että x-kysymys ei ole relevantti/ pääongelma → syntyy uusi kysymys

Teemaan liittyvät tosiasiat ja tiedotTeemaan liittyvät huolenaiheet ja ongelmatErotellaan helpot ja haastavat ratkaisuideat, sekä Best PracticesTeemaan liittymätön keskustelu ja aiheet

Käytiin läpi aiempaa keskustelua, mutta lähdettiin liikkeelle erityisesti kysymyksestä:

Ideoiden onnistuminen?

Huom. paljolti sama porukka kuin edellisessä ryhmässä.

1) Kommentti, HY: Kuulostaa urhealta ajatella, että ideassa onnistutaan siksi, että palvelut ovat hyvät, ei siksi, että idea on hyvä. Jos käytetty palvelu määrittää, kuka saa rahoituksen, menee hankalaksi...

7) Tutkimuspalvelut auttaa hankehakemusten kirjoittamisessa. Yksi priosrisointi tehdään siinä, että mihin ideoihin panostetaan. Jos et tiedä hakemusten kirjoittamisesta, onnistuminen heikkennee.

8) Toisaalla saattaa olla yksin dekaani tms. joka päättää mihin panostetaan.

9) Toisin sanoen, IT:n mahdollisuus sössiä; pitää päästä monesta portista läpi, ennen kuin tulee IT:n luo.

13) Joskus tehty (projektien) linkitystä julkaisuihin. Suoraa impaktia haettu. Joskus toivottu, että tutkijat itse ilmoittavat julkaisuista. Mikä data(setti) ollut tietyn julkaisun takana.

15) Pitäisi kertoa, mitä resursseja on käytetty. Saada insentiivi OKM:lta. Korkeakoulu on täysin irti siitä kun tutkija hakee resursseja CSC:ltä.

16) HY: Kuinka monelle resurssihakemukselle sanotaan ei? Hyvä kysymys, ei tietoa saatavissa tähän keskusteluun. LAY: Hakuprosessi on hyvin yksinkertainen, ei kysytä paljoa, vaikea karsia sen perusteella.

17) Jos käyttöönottoprosessit on liian kankeita.

18) Henkilökohtainen asia, onko prosessi kankea vai ei.

3) Ei välttämättä edes tiedetä palveluista.

4) Molemmat ovat huonoja...

5) Ongelma nykyisessä asetelmassa. koko ajan tulee valtavasti uusia palveluja; mikä toimii nyt, ei välttämättä toimi kolmen vuoden päästä. Että kysytään, että oletteko huomanneet, että voi tehdä järkevämmin?

6) Miten mitallistaa ideoita? Esim, että miten tutkimusidea onnistuu? Onko tällaisia idealaareja toteutettu?

HAASTAVA 2) Toinen näkökulma: sen mittaaminen, että onko meillä hyviä palveluita. Jos omasta mielestä loistava palvelu, jota käyttää 1% tutkijoista... Vaikuttavuutta pitää analysoida molemmista suunnista. Ryhmän sekä palvelun tarjoajan.

HELPPO 10) Aalto: CSC:llä kun laitetaan projektille tieteenala. Seurataanko palveluiden käytön suuntautumista tieteenaloihin? Nouseva trendi, keinoälytaide; käyttöprosentit alkaa kasvamaan, auttaa meitä suunnittelemaan esim koulutuksia. Toisaalta, että pitää kasvattaa resursseja kompentessien kehittämiseen.

HELPPO 11) Markkinointi ja viestintä auttaisi siihenkin. Projektinumeron perusteella pystyisi kohdentamaan kouluun, jne. Kohdistettu tieto kahvipöytiin keskusteluun. Saisimmeko meidän masterdataan (Aalto)?

HELPPO 12) Tiedon jakaminen ja molemminpuolinen tiedon rikastaminen.

? 14) Tutkimustiedon hallintajärjestelmä, CRIS (tutkimustietoportaali); kytkeytyisi palveluntarjoajan järjestelmiin (esim. CSC) ?