Kontrollarmen er Bris finjustert på vanlig måte: 3 000 steg på nordiske MEPS-data, med modellens egen skår som tap og uten noe haleledd. Den er referansen halearmen skal måles mot. Før halearmen blir ferdig ville jeg vite hva vanlig finjustering faktisk gjorde med modellen.
Svaret er både ja og nei. Modellen ble bedre på det den ble trent på. Samtidig lærte den seg å lage felt med for mye småskala detalj, og det gjør vind og nedbør dårligere.
Hva jeg har lov til å se på
Testperioden, august 2025 til september 2026, skal ikke påvirke noen beslutninger før den endelige evalueringen. Alt i dette innlegget bruker derfor valideringsperioden, april til juli 2025.
En tidligere prøvekjøring brukte 4. oktober 2025, som ligger i testperioden. Den teller bare som en teknisk sjekk av at sjekkpunktet laster og gir fysiske felt. Ingenting her bygger på resultatet derfra.
Valideringstapet ble bedre hver gang
Jeg regnet ut valideringstapet for urørt Bris og for kontrollarmen på de samme 23 tilstandene, spredt jevnt over valideringsperioden og alle fire tider på døgnet. Det er det samme tapet modellen trenes med, med samme innstillinger. Bare vektene er forskjellige.
| Tap i snitt over 23 tilstander | |
|---|---|
| Urørt Bris | 2,177 |
| Kontrollarm | 2,130 |
| Forskjell | −0,047, eller −2,1 % |
Kontrollarmen er bedre på alle 23 tilstandene, og forbedringen ligger mellom 0,030 og 0,074 hver gang. Forskjellen er 18,7 standardfeil fra null, så den er ikke tilfeldig. Kontrollarmens 2,130 stemmer også med de 2,13 treningen selv logget, selv om denne målingen gikk på CPU og på et utvalg.
Så langt ser finjusteringen ut som en suksess. Men tapet måler alle variabler, bare seks timer fram, og nedbør teller svært lite i det.
Én hendelse, fire medlemmer
Bris er en ensemblemodell. Hver kjøring legger inn tilfeldig støy, så to kjøringer fra samme start gir to ulike, like sannsynlige varsler. Med ett varsel per modell kan man ikke skille en ekte forskjell fra tilfeldighet. Jeg kjørte derfor fire medlemmer av hver modell, fra 8. juli 2025 klokka 00 UTC og 36 timer fram.
Datoen er valgt fordi rangeringen av kraftig nedbør flagget tre tilstander på rad der. Det viste seg at regnet falt i Finland og Karelen, 656 kilometer fra nærmeste norske måler. Norge var nesten tørt. Jeg sammenlignet derfor med MEPS-analysen over hele det nordiske området, som er den samme sannheten modellen trenes mot.
For døgnet fram til 9. juli klokka 06:
| Urørt Bris, fire medlemmer | Kontrollarm, fire medlemmer | |
|---|---|---|
| Gjennomsnittlig feil, alle punkter | 1,30–1,40 mm | 1,52–1,74 mm |
| Falske varsler over 20 mm (gitterpunkter) | 4 913–7 468 | 7 066–10 247 |
| Andel av punktene over 20 mm som ble funnet | 0,63–0,71 | 0,58–0,73 |
| Snittvarsel der analysen hadde over 20 mm | 24,1–28,8 mm | 24,5–29,8 mm |
Kontrollarmen finner det kraftige regnet like godt der det faktisk faller. Men den legger mer regn der det ikke skal være. Alle fire medlemmene har større feil enn alle fire medlemmene til urørt Bris.
Ledetid for ledetid
Valideringstapet ser bare seks timer fram, fordi begge armene trenes med én tidsstegs utrulling. Det er her den viktigste forskjellen fra METs egen trening ligger: MET trente med seks steg, altså 36 timer. Jeg sammenlignet derfor varslene med analysen ett tidssteg om gangen.
- Lufttrykk følger mønsteret man ville ventet av å trene på seks timer. Kontrollarmen er en tredjedel bedre etter seks timer, fordelen krymper steg for steg, og etter 36 timer er den dårligere.
- Temperatur peker samme vei, fra litt bedre til elleve prosent dårligere.
- Nedbør har ikke noe klart mønster. Den er bedre etter seks timer, dårligere etter 12 og 18, og omtrent lik eller bedre mot slutten.
- Vind er dårligere ved alle ledetider, også etter seks timer. Det passer ikke med forklaringen om utrulling, siden seks timer er nettopp det modellen er trent på.
Hvor vinden går galt
Min første mistanke var dataene. Vindkomponentene i treningsdataene måtte roteres fra modellens rutenett til himmelretninger. Er det gjort feil, burde feilen vokse jo lenger unna midten av kartprojeksjonen man kommer, der rotasjonen er størst. Det gjør den ikke. Den ekstra feilen er like stor i alle lengdegrader, med en korrelasjon på −0,005.
Svaret lå et annet sted. Jeg delte feltene opp etter romlig skala og målte hvor mye variasjon varslene har på hver skala, sammenlignet med analysen. Er forholdet 1, har varselet riktig mengde detalj.
| Vind 10 m, 18 timer fram | 500–2 000 km | 200–500 km | 50–100 km | 20–50 km | 5–20 km |
|---|---|---|---|---|---|
| Urørt Bris | 1,05 | 0,97 | 1,22 | 1,13 | 1,12 |
| Kontrollarm | 0,87 | 1,00 | 2,24 | 2,49 | 2,69 |
| Nedbør, 6 timer fram | 100–200 km | 50–100 km | 20–50 km | 5–20 km |
|---|---|---|---|---|
| Urørt Bris | 0,70 | 0,90 | 2,27 | 2,86 |
| Kontrollarm | 1,01 | 2,09 | 6,15 | 9,00 |
På store skalaer er kontrollarmen like god som urørt Bris. Lavtrykk og fronter har riktig form, og det er derfor lufttrykket blir bedre. På små skalaer har den to til tre ganger for mye variasjon i vinden, og enda mer i nedbøren. Feltene er rett og slett for støyete.
Det forklarer resten også. Vinden bommer fra første tidssteg. Regnet havner spredt på feil steder. Temperaturen får bedre CRPS men større feil, fordi ekstra spredning kan senke CRPS. Og valideringstapet blir likevel bedre, fordi småskala støy koster lite i et tap som domineres av store skalaer.
Hvorfor: spektralleddet som mangler
METs siste finjustering av Bris hadde to ledd i tapet. Det ene er den vanlige skåren. Det andre er et spektralledd med vekt 0,1, som sammenligner feltene skala for skala og straffer nettopp for mye eller for lite detalj.
Det leddet finnes ikke i den versjonen av treningsrammeverket jeg kjører, så begge armene trener uten det. Med bare tre ensemblemedlemmer kan den vanlige skåren tåle, og til og med belønne, ekstra småskala støy. Tre tusen steg var nok til at modellen lærte det.
Utrullingen på ett steg forklarer hvorfor trykk og temperatur blir dårligere med ledetiden. Spektralleddet som mangler forklarer støyen.
Hva det betyr for forsøket
Sammenligningen mellom halearmen og kontrollarmen er fortsatt rettferdig. Begge trener med den samme oppskriften, og begge mangler spektralleddet. Forskjellen mellom dem kan fortsatt bare komme fra haleleddet.
Men resultatet betyr tre ting:
- Kontrollarmen, ikke urørt Bris, er riktig referanse. Vanlig finjustering endrer modellen i begge retninger, og det må trekkes fra før haleleddet får æren eller skylden for noe.
- Støyen kan påvirke hva haleleddet viser. Spredt småskala regn gjør det lettere å passere 20 millimeter på tilfeldige steder. Falske varsler blir det første jeg ser etter i halearmen.
- Et bedre valideringstap er ikke det samme som bedre varsler. Evalueringen må skje på det oppgaven handler om, nedbør og vind over hele varsellengden, ikke bare på tapet.
Dette er én hendelse og fire medlemmer, men mønsteret er det samme på tvers av medlemmer, ledetider og variabler. Den endelige evalueringen over hele testperioden avgjør.
Halearmen trener nå, og blir ferdig natt til 18. september. Et naturlig neste steg, hvis tiden tillater det, er å bygge spektralleddet inn selv, slik jeg gjorde med haleleddet, og trene begge armene på nytt med det.