Det forsøket allerede gjør riktig – og veien videre

Mens inferensen kjører, er det et godt tidspunkt å ta et skritt tilbake. Ikke for å gjette hvilket resultat som kommer, men for å spørre hva forsøket faktisk kan fortelle, hva som allerede er gjort godt, og hvilke begrensninger som må være synlige når tallene foreligger.

Etter å ha gått gjennom prosjektjournalen, treningsoppsettet og evalueringskoden er hovedinntrykket mitt dette: forsøket har en uvanlig ryddig kjerne. Sammenligningen mellom kontrollarmen og halearmen kan gi et troverdig svar på om haleleddet har en effekt. Den største risikoen ligger ikke i selve forsøksdesignet, men i hvordan de ferdige varslene blir scoret og tolket.

Det som er gjort riktig

Tre modeller isolerer tre ulike spørsmål

Det sterkeste valget i arbeidet er at forsøket har tre modeller:

Dette er viktigere enn det kan se ut som. Hvis halearmen bare ble sammenlignet med urørt Bris, ville en forbedring kunne skyldes både haleleddet og den ekstra treningen på nordiske data. Kontrollarmen skiller de to effektene.

Kontrollarmen og halearmen har samme startpunkt, data, antall steg, læringsrate, ensembleoppsett og tilfeldig startverdi. Så lenge dette også holder i den kjørende inferensen, er forskjellen mellom de to et godt estimat på effekten av haleleddet.

Testen ligger fram i tid

Trening, validering og test er delt kronologisk. Testperioden begynner etter dataene som brukes i finjusteringen. Det beskytter mot den mest åpenbare formen for datalekkasje og ligner mer på hvordan modellen faktisk ville blitt brukt: den trenes på fortiden og varsler framtiden.

Den presise formuleringen bør likevel være at perioden er usett under finjusteringen. Enkelthendelser i testperioden har allerede vært brukt til tekniske prøvekjøringer og prosjektet har sett nærmere på Amy. Det ødelegger ikke evalueringen, men perioden er ikke lenger et helt urørt, blindt testsett. Derfor er det lurt å fryse analyseplanen før sluttresultatene åpnes.

Modellene dømmes mot observasjoner

Den endelige testen bruker døgnnedbør fra rundt 714 norske målestasjoner gjennom Frost, ikke bare MEPS-analysen modellen er trent på. Det er en vesentlig styrke. En modell kan bli flinkere til å etterligne treningsmålet uten å bli bedre på været som faktisk ble observert.

Arbeidet med å bruke samme døgnvindu, 06–06 UTC, og å ta bort målinger Frost har merket som feil eller svært usikre, er også godt. Det samme gjelder kontrollen av målere som har satt seg fast på én verdi.

MEPS gir en meningsfull målestokk

MEPS-varsler blir vurdert mot de samme stasjonene som Bris. Det gjør resultatene lettere å forstå. Det er mer opplysende å vite om Bris nærmer seg en operativ, fysikkbasert værmodell enn bare å vite at en skår endret seg med noen prosent.

MEPS er deterministisk i dette oppsettet, mens Bris gir et ensemble. Sammenligningen må derfor gjøres på to nivåer: deterministiske mål for MEPS mot for eksempel ensemblemiddelet og de enkelte Bris-medlemmene, og probabilistiske mål mellom de tre Bris-variantene. Et deterministisk MEPS-varsel kan ikke uten videre få samme probabilistiske skår som et ensemble.

Vanlig vær er med i regnskapet

Prosjektet har hele tiden holdt fast ved at en modell ikke er nyttig hvis den finner flere ekstremhendelser ved å varsle kraftig regn hele tiden. Derfor måles både treff på kraftige døgn og kostnaden på vanlige døgn. Det er akkurat denne byttehandelen litteraturen om vektede skårer advarer mot: bedre hale kan komme på bekostning av resten av fordelingen.

Det viktigste å rette før scoring

Inferensen trenger ikke kjøres på nytt for disse punktene. Det er evalueringskoden som må være riktig før de produserte varslene får en dom.

1. Scoreren må faktisk lese alle ensemblemedlemmene

Den generelle scoreren forventer i dag et felt med dimensjonene tid, y og x. De nye Bris-filene har i tillegg en ensembledimensjon. Når squeeze() ikke fjerner denne, står fire dimensjoner igjen, og filen kan bli hoppet over.

Skriptet for én enkelthendelse håndterer medlemmer, men skriptet for hele testperioden gjør det ikke ennå. Første prioritet bør derfor være én samlet, ensemblebevisst scorer for hele perioden. Den bør lese urørt Bris, kontrollarmen og halearmen på samme måte og bevare de fire medlemmene helt fram til skårene regnes ut.

2. Alle modeller må scores på nøyaktig de samme tilfellene

Hvis hver modell scores separat, kan en manglende fil, en uteblitt MEPS-syklus eller en stasjon uten observasjon gjøre at modellene får litt ulike datagrunnlag. Da kan forskjellen mellom to skårer delvis komme fra hvilke døgn som ble med.

Lag derfor først en felles tabell over gyldige kombinasjoner av starttid, ledetid, stasjon og observasjon. Behold bare snittet som finnes for alle modellene som skal sammenlignes. Rapporter hvor mange tilfeller som falt bort og hvorfor.

Det rydder også opp i en liten datofeil: 1. august 2025 til og med 6. september 2026 er 402 kalenderdøgn, ikke 403. Det endelige antallet kan bli lavere dersom en syklus mangler. En eksplisitt oversikt over inkluderte døgn er sikrere enn å anta antallet på forhånd.

3. Ikke la observasjonen velge hvilke tilfeller som får hovedskåren

Det er intuitivt å måle feil bare der observasjonen passerte 20 eller 50 millimeter. Problemet er at en slik betinget skår kan favorisere overvarsling. Modellen blir bare dømt på stedene der hendelsen faktisk skjedde, mens de falske alarmene behandles et annet sted eller forsvinner ut av hovedtallet. Dette er en variant av forecaster's dilemma.

Treffrate, falske alarmer og mengdefeil på observerte ekstremdøgn er fortsatt nyttige beskrivelser. Men hovedkonklusjonen bør bygge på ordentlige skårer regnet over alle tilfeller:

• fair CRPS for hele nedbørsfordelingen
• terskelvektet CRPS for nedbør over for eksempel 20 og 50 millimeter
• Brier-skår for sannsynligheten for å passere de samme tersklene
• reliabilitetsdiagrammer, slik at en varslet sannsynlighet kan sammenlignes med hvor ofte hendelsen faktisk inntraff

Dette følger samme prinsipp som haleleddet i treningen: kraftig nedbør kan få større betydning uten at modellen slipper å betale for falske varsler. Transformerte kjerneskårer er utviklet nettopp for å vekte deler av fordelingen og samtidig beholde en proper skår.

4. Skill ledetidene

Varslene for +30 og +54 timer bør ikke blandes i ett hovedtall. De har ulik vanskelighetsgrad og kommer fra ulike starttidspunkt, selv når de verifiserer det samme nedbørsdøgnet.

Velg én forhåndsbestemt hovedledetid, for eksempel +30 timer, og rapporter +54 timer separat. Da blir det tydelig om en gevinst holder seg når varselet blir eldre, og samme observerte døgn får ikke dobbel vekt uten at det er synlig.

5. Usikkerheten må følge været, ikke antallet målestasjoner

714 målestasjoner betyr ikke 714 uavhengige observasjoner. Nabostasjoner treffes av det samme lavtrykket, og varsler fra dager ved siden av hverandre kan også høre til samme værsystem. Vanlige konfidensintervaller som behandler alle stasjon–døgn som uavhengige, vil derfor bli altfor smale.

Bruk en paret blokk-bootstrap over hendelser eller sammenhengende blokker på fem til sju døgn. Alle stasjoner, medlemmer og ledetider for samme blokk bør trekkes sammen. Regn deretter intervaller for forskjellen mellom modellene, ikke bare et eget intervall rundt hver modell.

6. Kontroller den tilfeldige støyen i inferensen

Bris lager ulike ensemblemedlemmer ved hjelp av tilfeldig støy. Dersom tre modeller kjøres med helt forskjellige tilfeldige trekk, kan en del av forskjellen mellom dem skyldes medlemmene som tilfeldigvis ble trukket.

Det beste er å bruke de samme dokumenterte frøene for tilsvarende medlem i alle tre modeller. Det kalles ofte common random numbers og reduserer støyen i en paret sammenligning. Hvis jobbene allerede kjører med ulike frø, bør frøene i det minste lagres og begrensningen beskrives.

Fire medlemmer er nok til fair CRPS og til en første sammenligning over mange døgn, men sannsynligheter kan bare bli 0, 25, 50, 75 eller 100 prosent. For et utvalg av de viktigste ekstremhendelsene vil 20–50 medlemmer gi en langt bedre test av spredning og kalibrering.

Begrensninger i det nåværende forsøket

Kontrollarmen gjenskaper ikke hele tapet MET brukte

Den publiserte Bris-oppskriften kombinerer en punktvis almost-fair CRPS med et spektralledd som sammenligner feltene på ulike romlige skalaer. Spektralleddet mangler i både kontrollarmen og halearmen her.

Det gjør ikke sammenligningen mellom de to armene urettferdig: begge mangler det samme leddet. Men kontrollarmen mot urørt Bris blir vanskeligere å tolke. Forskjellen handler ikke bare om mer trening, men også om videre trening med et endret tap.

Valideringsresultatene viser hvorfor dette betyr noe. Kontrollarmen fikk to til tre ganger for mye småskala variasjon i vind og opptil ni ganger for mye i nedbør på de minste skalaene. Et bedre punktvis tap var altså ikke det samme som bedre romlig struktur. At Bris-artikkelen beskriver spektralleddet som nødvendig for sammenhengende felt, passer godt med dette funnet.

Finjusteringen bruker ikke nye år for grunnmodellen

Bris-sjekkpunktet er allerede trent på data fram til 31. mars 2025. Perioden som brukes i finjusteringen, oktober 2023 til mars 2025, er derfor ikke ny for grunnmodellen. Forsøket tester først og fremst om ekstra optimalisering og en annen vekting av tapet flytter modellen i en ønsket retning, ikke hva modellen lærer av nye treningsår.

Det er et legitimt eksperiment, men viktig for tolkningen. En eventuell gevinst viser effekten av målrettet reoptimalisering på kjente typer data.

Ett treningssteg skal bære et 60-timers varsel

Begge armene er trent med ett steg, seks timer, og evalueres opptil 60 timer fram. Feilene modellen lager etter første steg blir da matet tilbake som inngang uten at treningen har lært å håndtere hele denne kjeden.

Resultatet i kontrollarmen, der trykk og temperatur blir dårligere med økende ledetid, er forenlig med dette. MET trente den publiserte modellen videre med utrullinger på to til seks steg. Sluttresultatene må derfor rapporteres per ledetid, og ikke bare som ett gjennomsnitt.

Haleleddet forklarer ikke romlig sammenheng alene

Det er fristende å forklare de glattere feltene i halearmen med at haleleddet belønner sammenhengende nedbørsområder. Selve leddet er imidlertid punktvis: det sammenligner terskeltransformerte verdier i hvert gitterpunkt, men har ingen eksplisitt kunnskap om nabopunkter eller formen på et regnfelt.

At vinden også ble glattere tyder på en indirekte effekt gjennom delte modellparametere og en endret optimeringsbane. Det er et interessant funn, men foreløpig en mekanismehypotese. Spektralanalyse gjennom treningen, gradientanalyse og måling av hvilke parametre som flyttet seg kan teste den.

Det ser ikke ut til å være dokumentert decoder-only-trening

Planen har tidligere omtalt finjustering av dekoderen. I den kjørte konfigurasjonen er det ikke tydelig at andre moduler faktisk er fryst. Innstillinger som setter arkitektoniske dimensjoner til null er ikke det samme som å sette requires_grad=False på parametre.

Før metoden beskrives som decoder-only bør treningsloggen vise navn og antall på alle parametre som får gradient. At et nedbørsspesifikt ledd påvirker både vind og lufttrykk er også et tegn på at delte deler av modellen kan ha blitt oppdatert.

Hva jeg ville gjort videre

Før resultatene åpnes

1. Bygg én ensemblebevisst evaluator som scorer alle modeller på et felles snitt av tilfeller.
2. Frys én primær sammenligning: halearm mot kontrollarm ved +30 timer, med terskelvektet CRPS for døgnnedbør som hovedmål.
3. Definer på forhånd sekundære mål: vanlig fair CRPS, Brier-skår ved 20 og 50 millimeter, reliabilitet, treffrate, falsk-alarm-rate og +54 timer.
4. Bruk paret blokk-bootstrap og rapporter både effektstørrelse og usikkerhet.
5. Kontroller og dokumenter ensemblefrø, manglende sykluser og det endelige antallet felles tilfeller.

Dette krever ingen ny trening. Det er den høyest prioriterte forbedringen fordi et godt forsøk fortsatt kan få et misvisende svar av en svak evaluator.

Neste kontrollerte eksperiment

Det mest verdifulle neste forsøket er å bygge inn igjen det spektrale tapet fra Bris og trene både kontrollarm og halearm på nytt. Bare å gi spektralleddet til halearmen ville innføre en ny forskjell mellom armene.

Deretter ville jeg økt utrullingen trinnvis, for eksempel fra ett steg til to eller tre og senere seks. Det vil koste mer minne og tid, men angriper problemet som allerede viser seg ved lange ledetider.

Et haleledd som dekker flere typer ekstremvær

En fast terskel på 20 millimeter per seks timer er enkel og tolkbar, men den betyr ikke det samme overalt eller i alle årstider. Tjue millimeter er langt sjeldnere noen steder enn andre, og konvektive sommerbyger skiller seg fra langvarig orografisk nedbør.

Tre naturlige varianter er:

• en terskelstige, for eksempel 10, 20 og 40 millimeter per seks timer
• lokale eller månedlige persentiler, slik at «ekstremt» defineres relativt til klimaet på stedet og i årstiden
• egne analyser for konvektivt, orografisk og utbredt frontalt ekstremregn

Tersklene bør fortsatt evalueres på de absolutte nivåene som er relevante for varsling, slik at et klimarelativt treningstap ikke gjør sluttresultatet vanskelig å forstå.

Velg vekten etter gradienter og en Pareto-front

Faktoren 13 716 gjør det vanlige tapet og haleleddet omtrent like store på utvalgte ekstremtilstander. Like store tall betyr imidlertid ikke at de gir like store gradienter i modellen. Fire ekstremtilstander bidro dessuten med omtrent halvparten av gjennomsnittet som vekten bygger på.

En bedre kalibrering er å måle gradientnormen fra hvert tapsledd på flere representative minibatcher. Kjør deretter en liten følsomhetsanalyse, for eksempel med en fjerdedel av dagens vekt, dagens vekt og fire ganger vekten. Velg ikke bare modellen med best haleskår, men se etter en Pareto-front: hvor mye halegevinst får man for en gitt kostnad i vanlig vær?

Begrens hvilke parametre som får flytte seg

Ekstrem nedbør er en smal oppgave, mens Bris deler representasjoner mellom mange variabler. Full finjustering kan derfor forstyrre vind, trykk og temperatur. Et parameter-effektivt forsøk kan fryse grunnmodellen og bare trene nedbørsdekoderen eller et lite nytt hode. Deretter kan de siste prosessorblokkene eller adaptere som LoRA åpnes gradvis hvis kapasiteten blir for liten.

Det vil både redusere databehovet og gjøre det lettere å forklare hvorfor andre variabler endrer seg.

Lær romlig organisering eksplisitt

Punktvise skårer straffer et riktig regnfelt som ligger noen kilometer feil svært hardt og sier lite om formen på feltet. For ekstremnedbør er organisering, utstrekning og forskyvning ofte like viktig som maksimum i ett punkt.

Et multiskala tap kan sammenligne nedbøren etter utjevning på flere romlige skalaer. Et terskelvektet spektralledd er en annen mulighet. Nyere arbeid med multiskala proper scoring rules forsøker nettopp å kombinere probabilistisk korrekthet med romlig struktur.

Hold hendelsesutvalg som et eget eksperiment

Å trekke ekstremhendelser oftere i minibatchene kan gi modellen flere nyttige gradienter fra halen. Men oversampling og halevekt i tapet bør ikke innføres samtidig i første forsøk, for da blir det umulig å vite hvilken del som hjalp.

Et ryddig oppsett er en egen arm med en blanding av uniformt trukne tider og ekstrem- eller forløpertilstander. Da kan resultatet sammenlignes med haleleddet alene og senere med kombinasjonen.

Kom nærmere observasjonene

MEPS-analyse er et praktisk og konsistent treningsmål, men modellen kan aldri lære detaljer analysen selv ikke representerer. Et senere trinn kan finjustere mot radarkompositt, målerkorrigert radar eller andre høyoppløselige nedbørsprodukter. Et enklere alternativ er et lite etterbehandlingsledd som korrigerer Bris-ensemblet mot stasjoner.

Arbeid som Aardvark Weather viser at observasjonsbasert finjustering er en realistisk retning, mens CorrDiff viser verdien av en egen probabilistisk nedskalerings- eller restmodell for lokale detaljer. Det betyr ikke at disse metodene kan kopieres direkte, men de peker på et skille som er nyttig her: grunnmodellen kan stå for den store værutviklingen, mens et mindre ledd lærer lokale ekstremer.

En prioritert rekkefølge

Hvis tid og regnekraft er begrenset, ville jeg gjort arbeidet i denne rekkefølgen:

1. Gjør evalueringen paret, ensemblebevisst og proper. Dette må være riktig før dagens resultat tolkes.
2. Kjør kontroll og hale på nytt med spektralleddet. Det angriper den tydeligste svakheten som allerede er observert.
3. Tren med flere utrullingssteg. Det gjør treningsmålet mer likt 30–60-timers varslingen modellen vurderes på.
4. Test flere halevekter og terskler. Bruk gradienter og validering til å finne en robust byttehandel.
5. Begrens finjusteringen til relevante moduler. Det kan beskytte resten av værfeltet mot utilsiktede endringer.
6. Prøv multiskala tap eller bedre observasjonsmål. Dette er mest lovende for lokalisering og romlig struktur, men også et større metodeprosjekt.

Hva som vil være et godt resultat

Halearmen trenger ikke vinne på alt for at forsøket skal være nyttig. Et overbevisende positivt resultat er at den slår kontrollarmen på en forhåndsbestemt, proper haleskår, med et usikkerhetsintervall som ikke dekker null, samtidig som vanlig CRPS og falske alarmer bare forverres innenfor en akseptabel grense.

Et negativt resultat er også verdifullt. Hvis haleleddet gir mer intens nedbør, men dårligere kalibrering, flere falske alarmer eller svekket trykk og vind, har forsøket vist hvor kostnaden oppstår. Hvis forskjellen forsvinner når spektralleddet kommer tilbake, har det avslørt at det første funnet var knyttet til en ufullstendig treningsoppskrift.

Det viktigste er derfor ikke at halearmen «vinner». Det er at konklusjonen kan spores til riktig årsak. Trearmsdesignet gir et godt utgangspunkt for nettopp det. Nå må evalueringen være like streng som eksperimentet.

Litteratur som peker ut retningen

• Bris v2 beskriver den publiserte treningsoppskriften, utrulling over flere steg og kombinasjonen av punktvis og spektral skår.
• Allen mfl. om transformerte kjerneskårer gir det teoretiske grunnlaget for å rette proper skårer mot bestemte deler av en fordeling.
• Wessel mfl. om vektede skårer for ekstrem vind viser både muligheten for bedre haleytelse og byttehandelen mot resten av fordelingen.
• Multiscale proper scoring rules er relevant når både probabilistisk kvalitet og romlig struktur skal læres.
• Aardvark Weather demonstrerer en vei mot finjustering med observasjoner.
• CorrDiff viser hvordan en separat probabilistisk restmodell kan tilføre lokale detaljer til et grovere værvarsel.