Hovedfunnet i oppgaven er at variant C, Bris finjustert med ekstra vekt på nedbør, gir 7 prosent bedre varsler av kraftig regn enn kontrollarmen, men bare etter kalibrering. Da må det være helt klart hva kalibrering er. Dette innlegget forklarer det fra bunnen, med ekte tall fra teståret: 259 178 stasjonsdøgn fra august 2025 til september 2026, og spørsmålet om det kommer mer enn 20 millimeter regn i døgnet.
Hva
En oversettelsestabell
For hvert svar modellen kan gi, står det hvor ofte det faktisk skjer. Modellens tall byttes med tallet i tabellen.
Hvorfor
Modellene er overmodige
Når Bris sier 75 prosent, regner det kraftig langt sjeldnere enn 75 prosent av gangene. Tallene betyr ikke det de sier.
Hva det avslører
Hvem som skiller best
Når overmotet er fjernet fra alle modellene, står bare evnen til å skille kraftige regndøgn fra andre igjen. Den har C mer av.
Del 1: Hva en sannsynlighet skal bety
Si at et værvarsel sier 30 prosent sjanse for regn. Det betyr ikke at det regner 30 prosent av dagen, eller at 30 prosent av området blir vått. Det betyr at blant alle dagene der varselet sier 30 prosent, skal det regne på omtrent 30 prosent av dem.
Det er definisjonen på et kalibrert varsel. Et varsel som sier 30 prosent og har rett på 30 prosent av gangene, sier det det mener. Et varsel som sier 30 prosent og har rett på 10 prosent av gangene, overdriver. Brukeren kan ikke stole på tallet.
Legg merke til at kalibrering ikke kan sjekkes på én dag. Regner det på en dag med 30 prosent, var varselet verken rett eller galt. Kalibrering er en egenskap ved mange varsler samlet.
Del 2: Hvor sannsynligheten kommer fra i Bris
Bris lager ikke én prognose, men et ensemble: fire versjoner av været, kalt medlemmer, som starter litt forskjellig. Sannsynligheten for over 20 millimeter er andelen medlemmer som sier over 20 millimeter.
| Medlemmer over 20 mm | Sannsynlighet Bris gir |
|---|---|
| 0 av 4 | 0 % |
| 1 av 4 | 25 % |
| 2 av 4 | 50 % |
| 3 av 4 | 75 % |
| 4 av 4 | 100 % |
Med fire medlemmer finnes det bare disse fem svarene. Bris kan ikke si 5 prosent eller 90 prosent.
Del 3: Hvorfor tallene ikke stemmer
Det er flere grunner til at andelen medlemmer ikke betyr det den sier.
- Medlemmene er for like. Ensemblet sprer seg mindre enn feilen det gjør. Når alle fire sier kraftig regn, har de ofte gjort den samme feilen, og da tar de feil sammen.
- Modellruten er ikke målestasjonen. Bris gir snittet over en rute på noen kilometer. Målestasjonen måler i ett punkt, og regnet i ett punkt varierer mer enn snittet over en rute.
- Fire medlemmer er få. Med så få medlemmer kan tilfeldigheter alene gjøre at to eller tre havner over terskelen selv om den ekte sannsynligheten er lav.
- Treningen kan skyve nivået. Variant C er trent med ekstra vekt på nedbør. Det gjør den våtere, så flere medlemmer havner over 20 millimeter, også når det ikke kommer.
Del 4: Slik sjekkes det
Sjekken er enkel opptelling. For hvert av de fem mulige svarene samler jeg alle stasjonsdøgnene der modellen ga nettopp det svaret, og teller hvor mange av dem som faktisk fikk over 20 millimeter.
Her er det fullstendige regnestykket for kontrollarmen over hele teståret:
| Bris sa | Antall stasjonsdøgn | Av dem, over 20 mm | Hvor ofte det skjedde |
|---|---|---|---|
| 0 % | 243 461 | 2 507 | 2 507 / 243 461 = 1,0 % |
| 25 % | 7 268 | 1 589 | 1 589 / 7 268 = 21,9 % |
| 50 % | 3 203 | 1 397 | 1 397 / 3 203 = 43,6 % |
| 75 % | 2 298 | 1 330 | 1 330 / 2 298 = 57,9 % |
| 100 % | 2 948 | 2 301 | 2 301 / 2 948 = 78,1 % |
Og det samme for variant C:
| Bris sa | Antall stasjonsdøgn | Av dem, over 20 mm | Hvor ofte det skjedde |
|---|---|---|---|
| 0 % | 238 047 | 1 409 | 0,6 % |
| 25 % | 8 287 | 1 141 | 13,8 % |
| 50 % | 4 054 | 1 199 | 29,6 % |
| 75 % | 3 429 | 1 576 | 46,0 % |
| 100 % | 5 361 | 3 799 | 70,9 % |
Den siste kolonnen er hele kalibreringen. Det er oversettelsestabellen. Når kontrollarmen sier 75 prosent, byttes det ut med 57,9 prosent. Når C sier 75 prosent, byttes det ut med 46,0 prosent.
Tegnet opp ser det slik ut:
Dette kalles et pålitelighetsdiagram. Avstanden fra diagonalen er hvor mye modellen overdriver. Begge modellene overdriver, og C overdriver mest.
Del 5: Én regel, tabellen må gå oppover
Med fire medlemmer går tabellene over pent oppover av seg selv: jo flere medlemmer som sier kraftig regn, jo oftere kommer det. Men det er ikke alltid slik. Med 16 medlemmer og færre døgn blir det 17 mulige svar, og noen av dem har bare 20 til 50 døgn bak seg. Da hopper opptellingen opp og ned av ren tilfeldighet.
Et eksempel fra kontrollarmen med 16 medlemmer, på 61 valideringsdøgn:
| Bris sa | Antall stasjonsdøgn | Av dem, over 20 mm | Hvor ofte det skjedde |
|---|---|---|---|
| 6 av 16 (37,5 %) | 80 | 29 | 36,3 % |
| 7 av 16 (43,8 %) | 51 | 13 | 25,5 % |
Her skulle 7 medlemmer betydd lavere sannsynlighet enn 6. Det gir ingen mening fysisk. At ett medlem til sier kraftig regn, kan ikke gjøre kraftig regn mindre sannsynlig. Det er bare for få døgn.
Derfor bruker jeg en metode som heter isotonisk regresjon. Den gjør nøyaktig opptellingen over, med én ekstra regel: tabellen kan aldri gå nedover. Når to nabotrinn går feil vei, slås de sammen og får felles tall:
(29 + 13) / (80 + 51) = 42 / 131 = 32,1 % for begge trinnene
Slik fortsetter den til hele tabellen går oppover. Ellers rører den ingenting.
Del 6: Ingen får jukse
Hvis oversettelsestabellen lages av de samme døgnene som den testes på, er den skreddersydd til akkurat de døgnene. Da blir resultatet for pent. Derfor lages den alltid av andre data enn den testes på.
1
Hold av én måned
Én måned av teståret legges til side. Den er det som skal testes.
2
Lag tabellen av resten
Oversettelsestabellen lages av alle de andre månedene, uten å se på den som er holdt av.
3
Bruk og gjenta
Tabellen brukes på måneden som ble holdt av. Så gjøres det samme for hver måned, til alle er kalibrert med data de ikke var med i.
Jeg har også gjort en strengere versjon. Tabellene ble laget av valideringsperioden, vår og sommer 2025, og brukt uendret på hele teståret. Det er slik det ville blitt gjort i et ekte varsel: tabellen lages av fortiden og brukes på framtiden. Da ble C 9 prosent bedre enn kontrollarmen, enda mer enn med den vanlige versjonen.
Del 7: Hva kalibrering gjør med skåren
Hvor godt et sannsynlighetsvarsel treffer, måles med Brier-skåren. For hvert stasjonsdøgn tas forskjellen mellom sannsynligheten og fasiten, 1 hvis det regnet over 20 millimeter og 0 hvis ikke, og den kvadreres. Snittet over alle døgnene er skåren. Lavere er bedre.
Rå er C dårligst. Kalibrert er C best. For å forstå hvorfor, må skåren deles opp.
Brier-skåren kan deles i tre deler som legges sammen. Det ble vist av Allan Murphy i 1973:
Brier-skår = usikkerhet − oppløsning + pålitelighetsfeil
Usikkerhet
Hvor vanskelig været er
Avhenger bare av hvor ofte det regner kraftig. Er lik for alle modeller på de samme døgnene, og kan ikke påvirkes.
Oppløsning
Hvor godt modellen skiller
Hvor forskjellig det går med døgnene modellen gir ulike svar. Trekkes fra, så mer er bedre.
Pålitelighetsfeil
Hvor mye den overdriver
Avstanden fra diagonalen i pålitelighetsdiagrammet. Legges til, så mindre er bedre.
Regnet ut for teståret, i tusendeler:
| Usikkerhet | − Oppløsning | + Pålitelighetsfeil | = Brier-skår | |
|---|---|---|---|---|
| Kontrollarm, rå | 33,96 | − 12,45 | + 0,99 | = 22,50 |
| Variant C, rå | 33,96 | − 13,95 | + 3,96 | = 23,97 |
Nå blir det klart:
- C har mye større pålitelighetsfeil. Den overdriver fire ganger så mye, og det er derfor den er dårligere rå.
- C har høyere oppløsning. Den skiller bedre mellom døgnene, men det skjules av overdrivelsen.
Kalibrering fjerner pålitelighetsfeilen og rører ikke oppløsningen. Etter kalibrering er pålitelighetsfeilen nær null for begge, og igjen står usikkerhet minus oppløsning. Der vinner den som skiller best, og det er C.
Del 8: Hva kalibrering ikke kan
Kalibrering bytter ut tall, men den beholder rekkefølgen. Døgnene modellen var mest sikker på, er fortsatt de den er mest sikker på etterpå. Bare tallene på dem er endret.
Det betyr at kalibrering ikke kan skape kunnskap som ikke finnes. Hvis en modell gir et døgn med styrtregn og et tørt døgn det samme svaret, får de det samme tallet etter kalibrering også. Ingen tabell kan skille dem.
Se på 0 prosent i tabellene over:
Kontrollarmen sa 0 prosent på over en fjerdedel av døgnene som faktisk fikk kraftig regn. C gjorde det på bare 15 prosent. Det er forskjellen kalibrering ikke kan rette opp, og det er den forskjellen som gjør C bedre.
Det samme måles med ROC-arealet. Det svarer på et enkelt spørsmål: hvis jeg trekker et tilfeldig døgn med kraftig regn og et tilfeldig døgn uten, hvor ofte ga modellen det våte døgnet høyest sannsynlighet? 0,5 er gjetting og 1 er perfekt. Kontrollarmen får 0,85 og C får 0,91. Fordi kalibrering beholder rekkefølgen, endrer den ikke ROC-arealet.
Del 9: Hvorfor dette er riktig sammenligning
Kalibrering er ikke et triks for å få C til å se bra ut. Det er hvordan sannsynlighetsvarsler har blitt behandlet i over 50 år.
- 1950: Glenn Brier innførte Brier-skåren for å måle sannsynlighetsvarsler.
- 1972: Den amerikanske værtjenesten begynte å rette modellvarsler statistisk mot målinger, kalt Model Output Statistics. Siden har nesten alle offentlige værvarsel blitt etterbehandlet før noen ser dem.
- 1973 og 1977: Allan Murphy delte Brier-skåren i delene over og innførte pålitelighetsdiagrammet.
- 2007: Tilmann Gneiting og medforfattere formulerte prinsippet som dagens evaluering bygger på: et sannsynlighetsvarsel skal være så skarpt som mulig, gitt at det er kalibrert.
Isotonisk regresjon er heller ikke ny. Algoritmen er fra 1955, og den er i dag en standardmåte å kalibrere sannsynligheter fra maskinlæringsmodeller på.
Det betyr at hvis Bris skulle brukes til å varsle kraftig regn, ville sannsynlighetene uansett blitt kalibrert før de ble vist. Da er det relevante spørsmålet ikke hvilken rå modell som ser best ut. Det er hvilken modell som gir best varsel etter den behandlingen den uansett får. Det er nettopp det kalibrert mot kalibrert svarer på.
Del 10: Hva det betyr for funnet
Rå
C er dårligere
C overdriver kraftig regn. Slik den kommer ut av modellen, er den 6,5 prosent dårligere enn kontrollarmen over 20 millimeter.
Kalibrert
C er bedre
Når overdrivelsen er fjernet fra begge, er C 7 prosent bedre. Det holdt også med 16 medlemmer og med tabeller laget på forhånd.
Hvorfor
C skiller bedre
C gjemmer færre kraftige regndøgn blant dem den kaller umulige. Det er kunnskap i modellen, ikke noe kalibreringen har lagt til.
Begrensninger
- Én terskel om gangen. Kalibreringen gjelder spørsmålet «over 20 millimeter». For 10 og 50 millimeter lages egne tabeller.
- Den retter nivået, ikke plasseringen. Ligger regnet på feil sted i modellen, kan ingen tabell flytte det.
- Den trenger data. Ved 50 millimeter er det så få døgn at tabellen blir usikker. Det er en av grunnene til at jeg ikke kan si noe sikkert om de mest ekstreme hendelsene.
- Tabellen må holde over tid. Endres modellen eller klimaet, må tabellen lages på nytt. Testen med tabeller fra vår og sommer, brukt på et helt år, tyder på at den holder godt.