Finjusteringen har to armer. Kontrollarmen trener med Bris' vanlige skår. Halearmen trener med den samme skåren pluss et ekstra ledd som bare bryr seg om kraftig nedbør. De to leddene legges sammen, og haleleddet ganges først med en vekt.
Den vekten sto som 100 i konfigurasjonen. Ingen hadde målt den. Dette innlegget handler om hvorfor akkurat det tallet avgjør hva hele forsøket kan vise, og hvordan jeg fant det.
To ledd i ett tap
Det vanlige leddet er ensembleversjonen av CRPS. Modellen lager tre varsler av den samme tilstanden, og skåren belønner to ting samtidig: at medlemmene havner nær det som faktisk skjedde, og at spredningen mellom dem står i forhold til hvor usikkert været var. Den regnes over alle 98 variablene og alle 1,36 millioner punktene i rutenettet.
Haleleddet er den samme skåren, men den ser verden gjennom et filter. For nedbør byttes hver verdi under 20 mm per seks timer ut med nøyaktig 20, både i varselet og i fasiten. Alt under grensen blir dermed likt, og forskjeller der koster ingenting. Over grensen er skåren uendret. Alle andre variabler er satt til null i dette leddet, og det regnes bare over de nordiske punktene.
Filteret har en viktig egenskap. Det flater bare ut og bytter aldri rekkefølgen på verdiene, og da forblir skåren ærlig: det beste modellen kan gjøre er fortsatt å varsle det den faktisk tror. En hjemmesnekret straff for å bomme på kraftig regn ville ikke hatt den garantien, og en modell kunne lært å rope ulv.
Hvorfor vekten avgjør alt
De to leddene lever på helt forskjellige skalaer. Den vanlige skåren ligger rundt 1,9. Haleleddet ligger rundt 0,0001, fordi det er null nesten overalt: det gjelder bare nedbør, bare over 20 mm, og bare i Norden.
Da finnes det to måter å bomme på:
- For liten vekt. Haleleddet drukner i summen. Halearmen trener i praksis nøyaktig som kontrollarmen, og sammenlikningen viser ingenting, fordi det ikke finnes noen forskjell å vise.
- For stor vekt. Modellen jakter kraftig nedbør overalt og blir dårligere på vanlige dager, som er de fleste dagene i året.
Plassholderen på 100 lå langt inne i det første tilfellet. 0,0001 ganger 100 er 0,01, mot en skår på 1,9.
Målingen
En vekt kan ikke settes med en rimelighetsbetraktning, bare med tall. Så jeg kjørte den urørte modellen, uten å trene den, over 46 tilstander fra treningsperioden oktober 2023 til mars 2025. 23 av dem var tilstandene rangeringen hadde flagget som ekstreme, og 23 var vanlige tilstander trukket tilfeldig fra samme periode. For hver tilstand registrerte jeg de to leddene hver for seg.
Kriteriet jeg valgte er enkelt: på de ekstreme tilstandene skal de to leddene veie like mye. Da er målet omtrent halvt opptatt av halen der halen faktisk finnes, mens haleleddet forsvinner av seg selv de dagene det ikke regner kraftig.
Selve kjøringen gikk ikke på et skjermkort. De to kortene som er store nok, var opptatt i dagevis, og en måling trener ikke, så jeg delte de 46 tilstandene i seks biter og kjørte dem på hver sin CPU-node. Det tok fem og en halv time.
De to leddene oppå hverandre
Dette avsnittet svarer på ett spørsmål: på én bestemt tilstand, hvor mye teller haleleddet, sammenliknet med den vanlige skåren?
For hver tilstand er tapet en sum av to tall:
tap = vanlig skår + vekt × haleledd
Det er de to tallene i den summen diagrammene under viser. Hver dato langs den vannrette aksen er én tilstand, og over hver dato er det tegnet tre prikker:
- Grønn, vanlig skår. Det første tallet i summen. Det er omtrent det samme hver gang, rundt 1,9.
- Blå, haleledd × 13 716. Det andre tallet i summen, med den vekten jeg målte.
- Oransje, haleledd × 100. Det samme andre tallet, men med plassholderen som sto i konfigurasjonen før.
Slik leses diagrammet: se på prikkene over én og samme dato, og sammenlikn høyden på den blå med den grønne.
- Blå like høyt som grønn. Haleleddet teller like mye som den vanlige skåren på den tilstanden.
- Blå over grønn. Det er haleleddet som bestemmer mest av hva modellen lærer av den tilstanden.
- Blå nede ved null. Haleleddet bidrar ingenting, og tilstanden trenes akkurat som i kontrollarmen.
Tre tilstander gjør det konkret:
| tilstand | vanlig skår | haleledd × 13 716 | tap | haleleddets andel |
|---|---|---|---|---|
| 2. juni 2024, ekstrem | 1,91 | 8,06 | 9,96 | 81 % |
| 18. november 2024, vanlig, men med regnskyll | 1,88 | 1,90 | 3,78 | 50 % |
| 26. november 2023, vanlig, uten kraftig regn | 1,88 | 0,00 | 1,88 | 0 % |
På et kraftig uvær er det altså haleleddet som dominerer. På en dag uten kraftig regn finnes det nesten ikke, og tapet er det samme som i kontrollarmen.
Med plassholderen ville 2. juni fått 0,06 fra haleleddet i stedet for 8,06. Tapet den dagen ville blitt 1,97, nesten det samme som på en dag uten kraftig regn. Uværet ville ikke skilt seg ut for modellen i det hele tatt. Det er derfor den oransje prikken ligger langs bunnen i begge diagrammene.
Vekten 13 716 er valgt slik at den blå og den grønne i snitt ligger like høyt i det første diagrammet. Enkelte uvær ligger over, andre under.
Det er verdt å legge merke til her:
- Den grønne ligger nesten flatt. Den vanlige skåren er omtrent like stor enten det regner eller ikke, så den kan ikke alene gjøre modellen bedre på uvær.
- Den blå hopper med været. Den er over 4 på fire uvær: 31. januar, 2. juni, 30. juni og 29. juli 2024. Høyest er 2. juni med 8,1.
- Noen blå ligger nesten på null. 22. november 2023 og 13. januar 2025 er eksempler. De er ekstreme etter rangeringen, fordi uvanlig mye av området var vått, men det regnet lite over 20 mm noe sted.
- Den oransje ligger langs bunnen hele veien. Med plassholderen er haleleddet borte.
Her er bildet et annet:
- Den blå ligger lavt på de fleste. På 13 av 23 vanlige tilstander er den under 0,1, altså under fem prosent av tapet.
- Noen få blå stikker opp. 18. november 2024, 23. februar 2024, 19. januar 2025 og 28. oktober 2023 ligger mellom 1 og 2.
De toppene er ikke feil. Rangeringen kaller en tilstand ekstrem når uvanlig mye av området er vått, ikke når ett sted får mye. En dag kan derfor være «vanlig» og likevel ha et kraftig lokalt regnskyll, og haleleddet reagerer på det, som det skal.
Sammenlikn de to diagrammene: på ekstreme tilstander ligger den blå ofte like høyt som eller over den grønne. På vanlige tilstander ligger den stort sett ved bunnen. Det er nettopp den forskjellen som gjør at halearmen kan lære noe om uvær og likevel trene nesten som før på vanlige dager.
Tallet
| ekstreme tilstander | vanlige tilstander | |
|---|---|---|
| vanlig skår | 1,91 | 1,89 |
| haleledd, før vekt | 0,00014 | 0,000026 |
| nordiske punkter over 20 mm | 3 370 | 549 |
Den vanlige skåren er nesten lik på de to typene dager. Den skiller ikke mellom dem, og det er heller ikke jobben dens. Haleleddet er fem ganger så stort på ekstreme dager som på vanlige, og der ligger hele poenget.
Vekten som gjør de to leddene like på de ekstreme tilstandene er 1,91 delt på 0,00014, altså 13 716.
| vekt | haleleddets andel av tapet på en ekstrem tilstand | andel i snitt over treningsperioden |
|---|---|---|
| 100 | 0,7 % | 0,14 % |
| 13 716 | 50 % | 16,5 % |
Med den målte vekten er haleleddet halve tapet der det regner kraftig, og rundt en sjettedel i snitt. Med plassholderen ville det vært under en femtedel av en prosent.
Det målingen fant underveis
Det første forsøket målte et annet ledd enn det jeg trodde. To feil, begge stille:
Grensen betydde 30 mm, ikke 20. Modellen ser normaliserte verdier, og normalisereren følger med vektene når finjusteringen starter fra METs sjekkpunkt. Den deler nedbøren på 2,37 mm og trekker ikke fra noe gjennomsnitt. Jeg hadde regnet om grensen med datasettets egen statistikk. Det ble avslørt fordi målingens egen telling av punkter over grensen var en tredjedel av det en direkte telling i dataene ga ved 20 mm.
Leddet så på hele kloden. Et sted i tropene regner det mer enn 20 mm på seks timer hver eneste dag. Over hele rutenettet hadde både ekstreme og vanlige tilstander rundt 1 500 globale punkter over grensen, så leddet slo til på stille dager også. Nå bruker haleleddet en arealvekt som er null utenfor det nordiske utsnittet.
Før rettelsene var haleleddet like stort på vanlige tilstander som på ekstreme. Etter er det fem ganger så stort på de ekstreme.
Forbehold
Tallet er ikke presist, og det er to grunner til det.
Fordelingen er skjev. Fire uvær bærer over halvparten av haleleddet på de ekstreme tilstandene, med 2. juni og 29. juli 2024 øverst. Hadde jeg brukt medianen av forholdet per tilstand, ville vekten blitt 21 132. Jeg brukte forholdet mellom gjennomsnittene med vilje: vekten skal balansere leddene der kraftig regn faktisk er, og det er der gjennomsnittet bæres.
Andelen på 16,5 % over hele perioden hviler på 23 tilfeldig trukne vanlige tilstander, og noen av dem var våte. Den er et anslag, ikke en måling.
Halearmen er nå satt opp med vekten 13 716. Det som gjenstår er å kjøre den, like mange steg som kontrollarmen, og se om de kraftigste regnværene blir bedre varslet uten at de stille dagene betaler for det.