Det digitala studentexamensprovet är nu sant

Till vårens examen hade 40 271 examinander anmält sig för att skriva 125 361 provprestationer. Examensdagarna gick huvudsakligen bra. I det här blogginlägget resonerar projektchefen Matti Lattu om examensdagarnas gång. Från Abitti-stödets synvinkel var det inte de över hundra tusen lyckade provprestationerna som är i fokus, utan enbart alla problem.

Kundservicen omgrupperades under examensdagarna

I vårens examen skrevs alla prov digitalt. Samtidigt var vårens första digitala prov det till antalet examinander största provet, modersmålet. Om examenstillfället varit en turnering, skulle den första motståndaren alltså genast varit den allra svåraste. 

Den första examensdagen är oftast den svåraste både för gymnasier och kansliet. En del av examinanderna och övervakarna är alltid nybörjare och letar efter de rätta stegen. I det digitala provet används det nybyggda examensnätet och kanske även splitternya servrar som inte ännu testats på allvar.

Abitti-stödet på kansliet opereras vanligtvis med hjälp av några personer, men inför examensdagarna behövs det förstärkningar. Denna gång användes extradejourerare, som tog emot de samtal som Abitti-stödet inte omedelbart hann svara på. Dejourerarna hade i förväg övat på de mest vanliga problemsituationerna och ifall det handlade om något annat, tog de emot en beskrivning på situationen samt kontaktuppgifter till uppringaren.

Vid sidan om Abitti-stödet svarade också våra erfarna examenssekreterare på frågor i andra än tekniska ärenden. På så sätt fick övervakarna svar på sina frågor genom två olika telefonnummer.

Uppställningen visade sig nödvändig, eftersom av de ungefär tusen personer som kontaktade oss under examensdagarna var det nästan en tredjedel som kontaktade oss under den första examensdagen. Enbart p.g.a. akuta sjukdomsfall under proven kontaktades kansliet tiotals gånger enbart under examensdagarna.

Icke-kompatibla USB-minnen

Innan examenstillfällets början fick vi höra från ett gymnasium att deras datorer inte startades med de USB-minnen vi skickat dem. Dessa datorer hade de skaffat genom ramavtal och alla gymnasiets datorer var av samma märke. Vi har tidigare också stött på samma fenomen, men denna gång var det frågan om någonting nytt: enligt preliminära rapporter startades åtminstone några av datorerna i samband med BIOS-uppdateringar. Det handlade alltså inte om ett helt vardagligt kopplingsproblem.

Innan examensdagarna hade vi blivit informerade om vissa problematiska datormodeller från HP, Lenovo och Acer. Vi kartlägger hur omfattande problemet är via en enkät som vi skickar till gymnasierna.

Under varje examenstillfälle har det förekommit kompatibilitetsproblem, och vi har tagit dem i beaktande i konkurrensutsättningen av USB-minnena som vi köper. Dessa problem blir vi antagligen aldrig helt av med. I fortsättningen kommer vi troligen att skicka alla gymnasier USB-minnen av olika partier för att försäkra oss om att inte en enskild examinands prov skulle vara beroende av ett USB-minne.

Fördröjda starter var ett symptom på en överraskning

I medierna var det de fördröjda starterna på proven som fick mest uppmärksamhet. Genast under den första examensdagen var det fyra videon i provet i modersmålet vars nedladdning orsakade rusning på servrarna. En snabb slutsats gjordes av flera experter: det är för mycket data som söks samtidigt från servrarna och då kraschar de.

Visst, det var just det som hände, men varför uppstod problemet enbart i samband med de virtuella servrarna vars kapacitet skulle vara bättre än USB-servrarnas? Varför led inte vissa stora examensnät av situationen, fastän det förekom problem på andra håll? Enligt loggfilerna uppstod problem endast i 30 av den första examensdagens 566 examensnät. Bara en del av dessa fall orsakade iakttagbara fördröjningar eller avbrott för examinanderna.

Först misstänktes problemet ha uppstått på grund av energibesparingsläget på värdmaskinen som kör de virtuella provlokalsservrarna. I vissa av tidigare fall, som kommit till Abitti-stödet hade det hjälpt med att ändra på datorernas energibesparingsinställningar. Under den första examensdagen gav Abitti-stödet anvisningar gällande ändrandet av inställningarna på både Windows- och Linux-opererade datorer. Problem med prestanda uppstod speciellt i början av provet, men i några fall även mitt på eftermiddagen.

Under examenstillfällets gång kom det fram att fördröjningarna i starten av proven hade i många fall varit symptom på andra problem. Just dessa problem utgjorde det här examenstillfällets överraskningar.

Drivrutinbuggar, BIOS-inställningar, spamfiltrar och examinandens dator som löpte amok

Efter den första examensdagen fick vi tag på en problemserver med ett intressant drag: nätkopplingen på provlokalens server återgick regelbundet till en hastighet på 10 och 100 Mbit/s istället för det normala 1000 Mbit/s. Inte undra på att nätkopplingarna trasslar till, om serverns bandbredd är bara 1-10 procent av det man utgår ifrån. Det kom fram att det var ett programfel i drivrutinerna på vissa Intel-nätkort, och detta kunde orsaka fenomenet i fråga. I dessa servrar byttes adaptern på provlokalens server ut mot ett emulerat nätkort i stället för virtio-drivrutinen som var standardalternativ.

Långa avbrott orsakades också av andra nya fynd. I ett av examensnäten hindrades plötsligt all nättrafik i mitten av provet av ett till switchen kopplat interfernenshindersystem. I ett annat fall framgick orsaken till serverns tröghet först mellan examensdagarna genom timmar av försök med olika BIOS-inställningar och belastningsprov. I ett fall hade en några euros nätsladd blivit defekt och störde examensnätet. Det framkom även att drivrutinen på en examinands dators nätkort löpte amok och häcklade därmed hela examensnätet.

Det svåra i alla dessa fall var, att alla av dem framkom som nätbuggar. Några enstaka avbrott förlängdes till över en timme när vi försökte lösa dessa för oss nya typer av problem. I och med att antalet examinander och mängden sladdmetrar vuxit, har också tiden som går åt till att reda ut nätproblem med det fysiska nätet blivit längre i jämförelse med de gångna examenstillfällen.

Trots problemen har de virtuella servrarna försäkrat oss mot att inga provprestationer har försvunnit under ett enda examenstillfälle. Om vi hade tagit oss igenom detta examenstillfälle med USB-servrar som förut, skulle antagligen hundratals examinander ha blivit utan sina provprestationer. Jämfört med detta var de fördröjningar som vi hade en liten skada. Under detta examenstillfälle plågade fördröjningar på över en timme bara en halv procent av provprestationerna.

Fördröjningarna kommer antagligen att förkortas som resultat av olika åtgärders samverkan. Vi kommer att förbättra belastningstesten och anvisningarna till hur testresultaten ska tolkas. Olika diagnostikvyer har planerats för att underlätta problemlösning och vi har funderat på ännu lättare sätt att ändra på den virtuella datorns inställningar i med Naksu. Vi har även funderat på olika möjligheter att utveckla samarbetet mellan gymnasierna och Abitti-stödet, samt hur man kunde förbättra speciellt identifieringen och lösningen av svåra fall.

Det första platta fallet

När jag började med att planeringen av den digitala studentexamen visste jag, att jag en dag skulle bli tvungen att möta examinander vars studentexamen skulle ha totalt misslyckats. På hösten 2016 var jag helt säker på att åtminstone vid ett eller två gymnasier skulle man vara tvungna att använda reservprov. Några examenstillfällen tillbaka led vi av ”smältande” USB-servrar och då kändes det som om att spådomen skulle snart gå i uppfyllelse. Båda gissningarna visade sig vara fel.

Allt började harmlöst under examensdagen för provet i skrivkompetens. När gymnasiet kontaktade oss på förmiddagen var skildringen av problemet brokigt: i ett stort examensnät hade en examinand kontinuerligt problem med laddningen av videomaterialet och tangentbordet buggade. De andra examinanderna hade inga problem. Råden i anvisningarna för övervakare hade följts: examinandens dator hade startats om, examinanden hade flyttats över till en reservplats och skrev provet med en reservdator. Samma examinand hade lidit av några störningar under de tidigare examensdagarna, men de hade retts ut genom att byta dator.

Vi påmindes om ett liknande fall några examenstillfällen sedan, då alla reservdatorer som examinanden prövade på buggade inom tio minuter från det att de tagits i bruk. Orsaken till problemet framgick från loggfilerna först efter examensdagen: det var examinandens mus som fick datorn att bugga, och den hade varje gång flyttats över till en ny dator. Denna gång hade all examinandens kringutrustning redan bytts ut.

Det som fördröjde utredningen av saken var, att problemet verkade framkomma helt slumpmässigt. Ibland fryste tangentbordet till redan efter att ha använts i några minuter, men emellanåt fick man vänta på samma fel i en kvart. Situationen var såklart väldigt belastande för examinanden, och vi på stödet stressade om att få frågan löst. Efter några timmar av försök flyttades examinanden över till ett separat utrymme så, att utredningen av problemet inte skulle störa andra examinander och för att lugna ner examinanden. Hens krafter började så småningom ta slut.

I början av eftermiddagen var vi på Abitti-stödet tvungna att medge att vi fortfarande inte hade någon aning om vad som orsakade problemet. Vi hade genom ett videosamtal sett vad nät- och tangentbordsproblemen handlade om, men deras orsak var en fullkomlig gåta. Allt som kunde bytas ut i provlokalen hade bytts ut. Det var dags att ge upp, och låta generalsekreteraren lösa fallet så, att examinanden trots det tekniska problemet skulle bli student.

Vitsordet i provet i modersmål utformas undantagsvis på basis av gymnasiets rapport och ett tidigare skrivet prov i läskompetens. Ett motsvarande förfaringssätt har man tagit tillväga även när proven skrevs på papper ifall provprestationer hade försvunnit.

Från examinandens synpunkt var det alltså inte frågan om en katastrof, även om det så kändes för Abitti-stödet. Fastän jag hade väntat på det här i år, kändes det förfärligt att kasta in handduken. Samma eftermiddag fick jag tala i telefon med examinanden och bad om ursäkt för vår del. Vi var båda nästan gråtfärdiga.

Efter ett sömnlöst veckoslut träffade vi examinanden och gymnasiets personal, och senare samma dag hade vi delvis löst det frusna tangentbordets gåta. Vi fick felet upprepat med våra testdatorer som var anslutna i provmiljön och använde sig av det virtuella tangentbordet Florence.

Den sista examensdagen skrev examinanden provet i ett enskilt utrymme med ett omarbetat USB-minne varifrån Florence hade avlägsnats. Denna gång gick provet bra och utan problem med tangentbordet. I nästa Abitti-version kommer Florence att bli ersatt med ett annat tangentprogram.

Hur programmet aktiverades utan att examinanden ens använde det förblev ett mysterium. Misstankarna riktades mot tillgänglighetsbiblioteken som installerats tillsammans med Florence. Hade examinanden kanske ett individuellt sätt att använda musen och tangentbordet som kunde samtidigt ha aktiverat det virtuella tangentbordet med ödesdigra konsekvenser? Om detta kommer vi aldrig att få säkerhet.

Turneringen slutade enkelt

Erfarna tränare säger att turneringar är gemensamma projekt och färder som når sin höjdpunkt i den sista prövningen. I det bästa fallet är det fråga om slutspelet. Det första digitala provet i matematik var ett av de stora spänningsmomenten under detta examenstillfälle. Från Abitti-stödets synpunkt var examensdagen lugn. Turneringens svåraste match var redan undan och det otänkbara slutspelet visade sig i jämförelse som uppvärmning. Efteråt kommenterades provet utgående från uppgifternas innehåll, inte verktygen. Allt bra, det vill säga.

Nyckelspelarna i denna turnering var ändå de stödpersoner som löste prestationsproblemen i sina examensnät eller servrar. Vi på Abitti-stödet kunde komma fram med teknisk data gällande hur examensnätet fungerade och erfarenhet av tidigare liknande fall, men själva jobbet faller alltid på gymnasierna. Det var synnerligen viktigt att gymnasierna berättade om sina fynd till oss. På så sätt är vi kunnigare inför nästa examenstillfälle.

Tack, på återseende och välkommen

Att reformera studentexamen har varit mitt huvudsakliga jobb under de sex gångna åren. Under dessa år har jag fått många nya medspelare från Studentexamensnämnden, av sakkunniga som deltagit i projektet, samt från gymnasier och olika intressentgrupper. Mitt jobb är gjort och det är dags att flytta över till läktaren. Specialsakkunnig Thomas Vikberg fortsätter med att utveckla den digitala studentexamen och vår nya produktägare Joni Lehtola slår följe i juni. Joni är både arbetsmässigt och via hobbyn mångsidigt erfaren med Abitti och ordnande av studentexamen.

Genom åren har vi alla genomgått olika slags övningar inför det, att vi en dag skall uppnå vårt mål. Det digitala studentexamensprovet är nu sant.