Digitaalinen ylioppilaskoe on nyt totta
Tämän kevään ylioppilaskokeet olivat ensimmäiset, joissa kaikki kokeet suoritettiin digitaalisesti. Ennen kokeita jännitettiin eniten paitsi matematiikan kokeita myös USB-muistitikkuja, jotka olivat osoittautuneet muutaman lukion testeissä ongelmallisiksi. Kuten tavallista, lopulta shown varastivat mustat hevoset. Tällä kertaa ne laukkasivat virtuaalikoneiden ja tutkintoverkkojen suunnasta. Tutkintokertaan mahtui myös ensimmäinen epäonnistuminen.
Kevään tutkintoon oli ilmoittautunut 40 271 kokelasta tekemään 125 361 koesuoritusta. Pääasiassa kevään tutkintopäivät sujuivat hyvin. Tässä blogikirjoituksessa tutkintopäivien tapahtumia pohdiskelee projektipäällikkö Matti Lattu. Abitti-tuen näkökulmasta katsottuna haaviin eivät jääneet ne yli satatuhatta onnistunutta koesuoritusta, vaan yksinomaan kaikki ongelmat.
Tutkintopäivien asiakaspalvelu ryhmiteltiin uudelleen
Kevään tutkinnossa kaikki kokeet suoritettiin digitaalisesti. Kyseessä oli myös ensimmäinen kevättutkinto, jonka ensimmäinen digitaalinen koe oli kirjoittajamäärältään jättimäinen äidinkielen koe. Jos tutkintokausi olisi turnaus, olisi vastassa heti aluksi kovin mahdollinen vastustaja.
Ensimmäinen tutkintopäivä on sekä lukioille että kanslialle yleensä kaikkein vaikein. Osa kokelaista ja valvojista on ensikertalaisia ja heidän askelmerkkinsä ovat vielä vähän hakusessa. Digikokeessa käytössä on vasta rakennettu tutkintoverkko ja ehkä upouudet palvelimet, joiden kisakuntoa ei ole vielä tositoimissa testattu.
Kanslian Abitti-tuki pyörii normaalisti muutaman henkilön voimin, mutta tutkintopäivien ajaksi sitä vahvistetaan merkittävästi. Tällä kertaa uutta olivat ylivuotopäivystäjät, joille ohjautuivat ne puhelut, joihin Abitti-tuen asiantuntijat eivät heti ehtineet vastata. Ylivuotopäivystäjät olivat harjoitelleet etukäteen tyypillisimpiä ongelmatilanteita ja muussa tapauksessa he ottivat vastaan ongelmakuvauksen ja yhteystiedot.
Abitti-tuen rinnalle oli perustettu muiden kuin teknisten asioiden hoitoon tutkintopäivystys, jossa kysymyksiin vastasivat kokeneet tutkintosihteerimme. Näin valvojat saivat avun kahdesta numerosta.
Järjestäytyminen osoittautui tarpeelliseksi, sillä tutkintopäivien noin tuhannesta yhteydenotosta lähes kolmannes tuli ensimmäisenä tutkintopäivänä. Pelkästään akuuteista kokeen aikana sattuneista sairastapauksista soitettiin muutamia kymmeniä kertoja.
Epäyhteensopivat USB-muistitikut
Ennen tutkintokauden alkua saimme vinkin eräältä lukiolta, että lähettämämme muistitikut eivät käynnistäneet lukion puitesopimuksen kautta hankittuja kannettavia. Olemme aiemminkin törmänneet ilmiöön, mutta tällä kertaa tilanteessa oli jotain uutta: alustavien raporttien perusteella ainakin joidenkin koneiden BIOS-päivitys sai koneet käynnistymään. Ihan arkipäiväisestä liitinongelmasta ei siis ollut kyse.
Meille on raportoitu ennen tutkintopäivää joistakin ongelmallisista HP:n, Lenovon ja Acerin malleista. Kartoitamme ongelman laajuutta lukioille lähetettävällä kyselyllä.
Yhteensopivuusongelmia on ollut jokaisella tutkintokerralla ja olemme huomioineet ne tikkukilpailutuksissa. Luultavasti näistä ei koskaan päästä kokonaan eroon. Jatkossa tulemme todennäköisesti lähettämään kaikille lukioille kokelastikkuja useammasta valmistuserästä, jotta yhdenkään kokelaan ylioppilaskoe ei jää USB-tikusta kiinni.
Hidastelevat aloitukset olivat oire yllätyksestä
Mediassa eniten huomiota saivat hidastelut kokeiden aloituksessa. Heti ensimmäisenä tutkintopäivänä äidinkielen kokeen aineistossa oli neljä videota, joiden latautuminen aiheutti palvelimille ruuhkaa. Moni asiantuntija teki nopean päätelmän: liikaa dataa haetaan palvelimelta samanaikaisesti, jolloin palvelin kaatuu.
Näinhän tässä toki kävikin, mutta miksi ongelma ilmeni yksinomaan virtuaalipalvelimilla, joiden suorituskyvyn piti olla tikkupalvelimia parempi. Miksi jotkut suuret tutkintoverkot eivät kärsineet tilanteesta, kun taas toisaalla oli ongelmia? Ensimmäisen tutkintopäivän 566 tutkintoverkosta ongelmia oli lokitietojen perusteella vain 30 verkossa. Vain osa näistä tapauksista aiheutti varsinaisen kokelaille näkyvän viiveen tai katkon.
Aluksi vian aiheuttajaksi arveltiin virtuaalipalvelimia pyörittävien isäntäkoneiden virransäästöä. Virransäästöasetusten muuttamisesta oli ollut muutamassa Abitti-tuen tutkimassa palvelimessa. Ensimmäisenä tutkintopäivänä Abitti-tuesta jaeltiin runsasti ohjeita virransäästöasetusten säätämiseen niin Windows- kuin Linux-isäntäkoneille. Suorituskykyongelmia ilmeni erityisesti kokeen alussa, mutta joissain tapauksessa yllättäen myös iltapäivällä.
Tutkintokauden edetessä kävi ilmi, että hidastelevat kokeiden aloitukset olivat monissa tapauksissa oireita muista ongelmista. Ne muodostivatkin tämän tutkintokerran yllätyksen.
Ajuribugeja, BIOS-asetuksia, spämmifilttereitä ja riehuva kokelaan kone
Ensimmäisen tutkintopäivän jälkeen saimme käsiimme ongelmapalvelimen, jossa ilmeni jännä piirre: isäntäkoneen verkkoyhteys tunnistui satunnaisesti 10 ja 100 Mbit/s nopeudelle normaalin 1000 Mbit/s sijaan. Ei ihme, jos verkkoyhteydet takkuavat, mikäli palvelimen kaistanleveys on vain 1-10 prosenttia oletetusta. Kävi ilmi, että joissakin Intel-verkkokorttien ajureissa oli ohjelmavirhe, joka saattoi aiheuttaa tällaista ilmiötä. Näissä palvelimissa virtuaalikoneen verkkolaitteeksi vaihdettiin oletuksena käytetyn virtio-ohjaimen sijaan emuloitu verkkokortti.
Pitkiä katkoja aiheuttivat muutkin uudet löydökset. Yhdessä tutkintoverkossa kytkimissä oleva häirinnänestojärjestelmä esti kesken kokeen kaiken verkkoliikenteen. Toisessa tapauksessa syy palvelimen hitauteen selvisi vasta tutkintopäivien välillä tunteja kestäneen BIOS-asetusten kokeilun ja kuormitustestausten perusteella. Eräässä tapauksessa muutaman euron verkkopiuha oli vioittunut niin, että se häiritsi tutkintoverkon toimintaa. Löytyi myös yksi kokelaan koneen verkkokortti, jonka ajuri oli riehaantunut häiritsemään koko verkkoa.
Hankalaa näissä kaikissa tapauksissa oli se, että ne kaikki oireilivat verkkovirheinä. Ennennäkemättömien ongelmien ratkaisu venytti joitakin yksittäisiä katkoja yli tunnin mittaisiksi. Fyysiseen verkkoon liittyvien verkko-ongelmien selvittelyyn kuluneet ajat ovat kasvaneet aiemmista tutkintokerroista kokelas- ja johtometrien määrän kasvaessa.
Ongelmista huolimatta virtuaalipalvelimet ovat varmistaneet, ettei yhdessäkään tutkintokerrassa koesuorituksia kadonnut. Jos olisimme menneet tähän tutkintokertaan vanhaan malliin tikkupalvelimilla, meillä olisi todennäköisesti ollut satoja kokelaita ilman koesuorituksia. Siihen verrattuna nyt nähdyt viiveet olivat pieni haitta. Yli tunnin viiveet vaivasivat vain puolta prosenttia tämän tutkintokerran koesuorituksia.
Viiveitä tullaan todennäköisesti pienentämään monen toimenpiteen yhteisvaikutuksella. Tulemme parantamaan kuormitustestiä ja sen tulkintaohjetta. Naksuun ja koetilan palvelimeen on suunniteltu erilaisia ongelmanratkaisua nopeuttavia diagnostiikkanäkymiä ja mahdollisuuksia muuttaa virtuaalikoneen asetuksia nykyistä helpommin. Vuorovaikutuspuolella mietitään erilaisia mahdollisuuksia parantaa lukioiden ja Abitti-tuen yhteistyötä ja erityisesti vaikeiden tapausten tunnistamista ja nykyistä nopeampaa ratkaisemista.
Ensimmäinen täydellinen epäonnistuminen
Aloittaessani sähköisen ylioppilaskokeen valmistelua tiesin, että jonain päivänä joutuisin kohtaamaan kokelaita, joiden ylioppilaskoe olisi epäonnistunut täysin. Syksyllä 2016 pidin väistämättömänä, että yhdessä tai kahdessa lukiossa jouduttaisiin turvautumaan varakokeeseen. Pari tutkintokertaa sitten kärsimme “sulavista” palvelintikuista ja silloin tunsin ennusteen toteutuvan pian. Molemmat arvelut osoittautuivat vääriksi.
Kaikki alkoi harmittoman tuntuisesti äidinkielen kirjoitustaidon koepäivänä. Lukion ottaessa aamupäivällä yhteyttä ongelmakuvaus oli rönsyilevä: isohkossa tutkintoverkossa yhdellä kokelaalla on jatkuvia ongelmia aineistona olleiden videoiden latautumisessa ja näppäimistö jumittui. Muut kokelaat työskentelivät normaalisti. Valvojan ohjeen toimenpiteet oli jo tehty: kokelaan kone oli käynnistetty uudelleen, kokelas oli siirretty varakoneelle ja -paikalle. Samalla kokelaalla oli ollut joitakin häiriöitä aiempinakin tutkintopäivinä, mutta ne oli hallittu laitetta vaihtamalla.
Muistimme hyvin samankaltaisen tapauksen parin tutkintokerran takaa, jolloin kaikki kokelaalle annetut varakoneet jäätyivät noin kymmenen minuutin käytön jälkeen. Ongelman aiheuttaja selvisi vasta koepäivän jälkeen lokitiedostoista: koneen jumitti kokelaan hiiri, joka siirrettiin aina uuteen koneeseen. Tällä kertaa kokelaalle oli jo vaihdettu kaikki lisälaitteet.
Asian selvittämistä hidasti se, että ongelma ilmeni täysin satunnaisen tuntuisesti. Joskus näppäimistö jumittui jo muutaman minuutin käytön jälkeen, joskus vikaa saatiin odotella vartin verran. Tilanne oli tietysti kokelaalle erittäin raskas ja meillä tuessa oli kovat paineet saada asia ratkaistua. Parin tunnin yrittämisen jälkeen kokelas siirrettiin erilliseen tilaan, jotta ongelman selvittely ei häiritsisi muita kokelaita ja kokelas pääsisi rauhoittumaan. Hänen jaksamisensa alkoi olla koetuksella.
Puoliltapäivin oli pakko todeta, että meillä Abitti-tuessa ei ollut edelleenkään käsitystä siitä, mikä ongelman aiheutti. Olimme todistaneet videopuhelun kautta sekä verkko- että näppäimistöongelmat, mutta niiden aiheuttaja oli täysi kysymysmerkki. Koetilassa oli vaihdettu kaikki mikä vaihdettavissa oli. Oli aika luovuttaa, ja pääsihteerin ratkaista tilanne siten, että kokelas pääsisi ylioppilaaksi teknisestä ongelmasta huolimatta.
Kokelaan äidinkielen arvosana muodostetaan poikkeuksellisesti aiemmin suoritetun lukutaidon kokeen ja lukion raportin pohjalta. Vastaavanlaista menettelyä on käytetty myös paperikokeissa, kun koesuorituksia on kadonnut.
Kokelaan kannalta ihan täydellisestä epäonnistumisesta ei siis ollut kyse, vaikka se Abitti-tuesta siltä tuntuikin. Vaikka olin odottanut tätä vuosia, tuntui tyrmistyttävältä joutua heittämään pyyhe kehään. Sain puhua puhelimessa samana iltapäivänä kokelaan kanssa ja esitin anteeksipyyntömme. Meillä molemmilla oli vaikeuksia pidätellä itkua.
Unettoman viikonlopun jälkeen tapasimme kokelaan ja koulun henkilökuntaa ja myöhemmin samana päivänä jäätyneen näppäimistön salaisuus oli osittain ratkaistu. Saimme vian toistumaan omilla testikoneillamme koeympäristössä olevalla Florence-virtuaalinäppäimistöllä.
Viimeisen koepäivän kokelas suoritti erillisessä tilassa muokatulla kokelastikulla, josta oli poistettu Florence. Koe sujui tällä kertaa ilman näppäimistöongelmia. Seuraavassa Abitti-versiossa Florence on korvattu toisella näppäimistökartan näyttävällä ohjelmalla.
Salaisuudeksi jäi se, miksi ohjelmisto aktivoitui, vaikkei kokelas sitä käyttänytkään. Epäily kohdistui Florencen mukana asentuneisiin saavutettavuuskirjastoihin. Ehkä kokelaalla oli jokin hänelle tyypillinen tapa käyttää hiirtä ja näppäimistöä, joka aktivoi virtuaalinäppäimistön kohtalokkain seurauksin? Varmuutta tästä emme saa koskaan.
Turnaus päättyi helposti
Kokeneet valmentajat sanovat, että turnaukset ovat yhteisiä projekteja ja matkoja, jotka huipentuvat viimeiseen koettelemukseen. Parhaassa tapauksessa se on loppuottelu. Matematiikan ensimmäinen digitaalinen koe oli tämän tutkintokerran yksi suurista jännitysmomenteista. Abitti-tuen näkökulmasta koepäivä oli hyvin rauhallinen. Turnauksen tiukka peli oli jo pelattu ja mahdottomaksi arveltu loppuottelu olikin pelkkää verryttelyä. Kokeen jälkeen koetta kommentoitiin tehtävien eikä välineen perustella. Kaikki hyvin siis.
Tämän turnauksen avainpelaajan viirin haluaisin antaa niille tukihenkilöille, jotka selvittivät oman tutkintoverkkonsa tai palvelimensa suorituskykyongelmia. Me pystyimme Abitti-tuesta antamaan teknistä dataa koeverkkojen toiminnasta ja kokemuksia vastaavista aiemmista tapauksista, mutta varsinainen työ jää aina lukiolle. Erityisesti tärkeää oli, että lukiot kertoivat löydöksistään meille. Näin olemme viisaampia seuraavalla tutkintokerralla.
Kiitos, näkemiin ja tervetuloa
Ylioppilaskokeen muuttaminen on ollut oma päätyöni viimeisen kuuden vuoden ajan. Näiden vuosien ajan olen saanut paljon hyviä pelikavereita Ylioppilastutkintolautakunnasta, projektiin osallistuneista asiantuntijoista, lukioista ja eri sidosryhmistä. Minun työni on tehty ja on aika siirtyä katsomon puolelle. Digitaalisen ylioppilastutkinnon kehittämistä jatkavat erityisasiantuntija Thomas Vikberg ja kesäkuussa aloittava uusi tuoteomistajamme Joni Lehtola. Jonilla on sekä työn että harrastuksen kautta vankka ja monipuolinen kokemus Abitista ja ylioppilastutkinnon järjestämisestä.
Me kaikki olemme vuosien varrella tehneet monenlaisia harjoituksia, jotta jonain päivänä saavuttaisimme tavoitteemme. Digitaalinen ylioppilaskoe on nyt totta.
