To av de tre modellene er ferdige med evalueringskjøringen. Urørt Bris og kontrollarmen har begge varslet hver dag fra august 2025 til september 2026, 60 timer fram, med fire ensemblemedlemmer. Den perioden har ingen av dem sett under trening.
Halearmen er fortsatt midt i sin kjøring, så spørsmålet oppgaven handler om, om haleleddet hjelper, kan jeg ikke svare på ennå. Men sammenligningen mellom urørt Bris og kontrollarmen kan gjøres nå. Den forteller hva vanlig finjustering på nordiske data gjør, målt mot det som faktisk kom ned i regnmålerne.
Hvordan dette er målt
Alt er rettet mot døgnnedbør fra 714 norske målestasjoner, summert fra klokka 06 til 06. For hver startdag ser jeg på to døgn: det som slutter 30 timer etter start, og det som slutter 54 timer etter.
Reglene ble låst før noen resultater var sett. Et døgn teller bare hvis alle modellene har et varsel for det, og hvis måleren har en gyldig verdi. Det ga 397 av 402 mulige dager og 259 178 stasjonsdøgn. 9 255 av dem hadde over 20 millimeter, og 609 hadde over 50.
Dette er en foreløpig titt, kjørt med en egen kopi av planen som bare inneholder de to ferdige modellene. Den låste planen for hele forsøket er ikke rørt, og ingenting ved modellene kan endres på grunnlag av det jeg ser her.
Urørt Bris er for tørr
Det første tallet som skiller seg ut, er hvor mye regn modellene varsler i snitt.
| Døgnet 30 timer fram | Snitt, mm per døgn |
|---|---|
| Målt | 3,30 |
| Urørt Bris | 2,79 |
| Kontrollarm | 3,25 |
Urørt Bris varsler rundt 15 prosent for lite nedbør. Kontrollarmen treffer nesten nøyaktig. Det er den tydeligste effekten av finjusteringen: tre tusen steg på nordiske data har rettet opp en systematisk tørrhet.
Bedre ett døgn fram
Skårene under er lavere jo bedre. CRPS vurderer hele ensemblet over alt regn. Den terskelvektede varianten ser bare på det som skjer over 20 millimeter, som er det oppgaven bryr seg om.
| Døgnet 30 timer fram | Urørt Bris | Kontrollarm | Endring | 95 % intervall |
|---|---|---|---|---|
| CRPS, alt regn | 1,349 | 1,281 | −5,0 % | −0,099 til −0,036 |
| CRPS over 20 mm | 0,260 | 0,246 | −5,4 % | −0,023 til −0,005 |
| CRPS over 50 mm | 0,025 | 0,025 | ingen | spenner over null |
Intervallene kommer fra en blokk-bootstrap som trekker hele uker om gangen, fordi målere under det samme værsystemet ikke er uavhengige. Når hele intervallet ligger under null, er forbedringen større enn det tilfeldig variasjon kan forklare.
Så kontrollarmen er bedre et døgn fram, både generelt og for kraftig nedbør over 20 millimeter. For det aller kraftigste, over 50 millimeter, er det ingen målbar forskjell.
Flere treff, flere falske alarmer
Jeg regner et varsel som et varsel om kraftig nedbør når minst to av de fire medlemmene går over terskelen.
| Døgnet 30 timer fram | Andel funnet, 20 mm | Andel falske, 20 mm | Andel funnet, 50 mm | Andel falske, 50 mm |
|---|---|---|---|---|
| Urørt Bris | 49 % | 34 % | 17 % | 48 % |
| Kontrollarm | 57 % | 41 % | 24 % | 59 % |
| MEPS | 61 % | 42 % | 38 % | 56 % |
Kontrollarmen finner klart flere av de kraftige døgnene. Den varsler også oftere kraftig nedbør som ikke kommer. Det henger sammen med at den er våtere: den som varsler mer regn, treffer oftere og bommer oftere.
MEPS står ved siden av som målestokk. Den fysikkbaserte modellen finner fortsatt flest, særlig over 50 millimeter, der den finner 38 prosent mot kontrollarmens 24.
Én ting blir dårligere. Snittet av de fire medlemmene bommer litt mer i kontrollarmen, 1,87 mot 1,80 millimeter. Det passer med det valideringstestene viste: kontrollarmen lager mer flekkete nedbørsfelt, og flekkete felt treffer målerne dårligere punkt for punkt.
Men ikke to døgn fram
For døgnet som slutter 54 timer etter start, er fordelen borte.
| Døgnet 54 timer fram | Urørt Bris | Kontrollarm | Endring | 95 % intervall |
|---|---|---|---|---|
| CRPS, alt regn | 1,416 | 1,428 | +0,8 % | spenner over null |
| CRPS over 20 mm | 0,269 | 0,264 | −2,0 % | spenner over null |
Det stemmer med det jeg fant i valideringsperioden. Begge armene er trent med én tidsstegs utrulling, altså bare på å varsle seks timer fram. MET trente med seks steg. En modell som bare belønnes for de nærmeste timene, blir bedre der, og gevinsten blekner lenger ut.
Hva det betyr for forsøket
Dette er ikke svaret oppgaven er ute etter. Det svaret er forskjellen mellom halearmen og kontrollarmen, og den er låst til døgnet 30 timer fram og CRPS over 20 millimeter.
Men det gir to ting.
Kontrollarmen er en sterkere motstander enn urørt Bris. Haleleddet må slå en modell som allerede har fått rettet tørrheten og finner flere kraftige døgn. Det er riktig sammenligning, fordi forskjellen mellom de to armene bare kan komme fra haleleddet. Men det gjør det vanskeligere å vise en gevinst.
Oppsettet virker. Hele kjeden, fra varsler over et år til målere, planlåste regler og usikkerhetsintervaller, gir fornuftige og tolkbare svar. Når halearmen er ferdig, er det bare å kjøre den samme rettingen med alle tre.
Halearmen har varslet 151 av rundt 398 dager. Den går tregere enn de to andre, fordi den fikk et av de eldre grafikkortene. Når den er ferdig, starter den endelige rettingen av seg selv.