Etter at hovedresultatet kom, fant jeg en artikkel som ligger tettere på oppgaven enn noe annet jeg har lest: Enforcing tail calibration when training probabilistic forecast models av Wessel, Schillinger, Kwasniok og Allen, publisert i International Journal of Forecasting i år.
En av metodene de tester, er det samme tapet som halearmen ble trent med: vanlig CRPS pluss et vektet ledd som bare bryr seg om utfall over en terskel. Formelen er lik. Resultatet deres er likevel ikke det jeg ventet. Leddet flyttet nesten ikke CRPS over terskelen, som var hovedmålet mitt. Gevinsten viste seg et annet sted: i om varslene er kalibrert for de sjeldne dagene.
Da måtte jeg spørre: så jeg rett og slett på feil mål?
Hva artikkelen gjorde
Oppsettet deres er mye enklere enn mitt. De etterbehandler vindvarsler for 124 britiske stasjoner med små modeller, fra åtte parametere til noen få hundre. Terskelen er 12,5 meter per sekund, omtrent den 97,5. persentilen, altså høy, men ikke sjelden. De prøver flere vekter på leddet i stedet for én, og trener hver modell hundre ganger for å se hvor mye tilfeldighetene i treningen betyr.
Tre ting de fant, er verdt å ta med:
- CRPS over terskelen endret seg med under en halv prosent når de la til leddet. Det som bedret seg, var halekalibreringen, med 45 til 49 prosent.
- Tilfeldigheter i treningen alene ga store forskjeller i hvordan halen oppførte seg, selv når vanlig CRPS nesten ikke varierte.
- Gevinsten avhenger av hvor dårlig utgangspunktet er. En modell som allerede er godt kalibrert i halen, har lite å hente, og kan bli litt dårligere.
Hva halekalibrering er
Et varsel av kraftig nedbør kan være galt på to måter, og artikkelen måler begge:
Forekomst. Varsler modellen at 20 millimeter blir passert omtrent like ofte som det faktisk skjer? Jeg teller hvor mange stasjonsdøgn som gikk over terskelen, og deler på hvor mange ensemblet ventet, der hvert døgn teller med andelen av medlemmene som gikk over. Er forholdet 1, stemmer det. Over 1 betyr at modellen varsler for få slike døgn, at halen er for lett.
Plassering. Når det først regnet over terskelen, lå målingen der ensemblet sa den ville ligge? Hvis målingen stadig havner over alle medlemmene, er halen for lett selv når forekomsten stemmer.
Artikkelen brukte 250 trekk per varsel. Jeg har fire medlemmer, og det krever litt forsiktighet. Jeg testet målene på kunstige data der fasiten er kjent først. Forekomst og plassering fungerte som de skulle: et perfekt kalibrert ensemble på fire fikk forholdet 1,01 og en helt jevn plassering. Artikkelens samlemål for halekalibrering, TMCB, fungerte derimot ikke med fire medlemmer. Et for bredt ensemble fikk bedre poeng enn et perfekt kalibrert, fordi to feil kansellerte hverandre. Det målet regner jeg ut, men bygger ikke på.
Alt er regnet på nøyaktig de samme 259 178 stasjonsdøgnene som hovedevalueringen, fra august 2025 til september 2026.
Forekomsten
| 30 timer fram | 10 mm | 20 mm | 50 mm |
|---|---|---|---|
| Urørt Bris | 1,21 | 1,41 | 2,61 |
| Kontrollarm | 1,01 | 1,07 | 1,40 |
| Halearm | 1,08 | 1,11 | 1,19 |
| MEPS | 0,89 | 0,94 | 1,14 |
Urørt Bris har en altfor lett hale. Den varsler døgn over 50 millimeter 2,6 ganger for sjelden. Jo kraftigere nedbør, jo verre.
Vanlig finjustering rettet det meste. Kontrollarmen varsler døgn over 10 millimeter nesten nøyaktig så ofte som de kommer, og har kuttet underskuddet på 50 millimeter fra 2,6 til 1,4. Forbedringen er klar på alle tersklene og begge ledetidene, og intervallene ligger godt unna null.
Haleleddet la ikke til noe som holder. På 10 millimeter er halearmen dårligere enn kontrollarmen, 1,08 mot 1,01, og det er mer enn tilfeldigheter. På 20 millimeter, der haleleddet ble trent, er det ingen klar forskjell. På 50 millimeter ser halearmen bedre ut, 1,19 mot 1,40, og det stemmer med at den fant flere av de kraftigste døgnene. Men det bygger på 603 stasjonsdøgn, og intervallet går fra −0,54 til +0,11. To døgn fram er de to armene like.
Døgnene ingen medlemmer så
Her viser det seg hvor halearmen taper. Av døgnene over 20 millimeter gikk ingen av halearmens fire medlemmer over terskelen i 29,8 prosent av tilfellene, mot 26,0 for kontrollarmen. Forskjellen er 3,8 prosentpoeng, med et intervall fra 0,4 til 7,0. På 10 millimeter er den 4,0 poeng, og klar på begge ledetidene.
Det er den samme historien som spredningen fortalte. Når medlemmene ligger tettere sammen, er det sjeldnere at noen av dem strekker seg opp til terskelen.
Der minst ett medlem nådde over, var halearmen og kontrollarmen like. Målingen havnet på samme sted blant medlemmene, og ingen forskjell var større enn 0,02. Haleleddet endret altså ikke formen på halen. Det gjorde bare ensemblet smalere.
Hvorfor det ble annerledes enn i artikkelen
Jeg tror det tredje funnet deres forklarer mye. Gevinsten fra et haleledd avhenger av hvor dårlig halen er fra før. Urørt Bris har en svært dårlig hale, men halearmen skal ikke slå urørt Bris. Den skal slå kontrollarmen, og kontrollarmen hadde allerede tatt det meste av gevinsten med vanlig finjustering. Det var lite igjen å hente.
Resten er forskjeller i oppsett. De brukte en moderat terskel, prøvde flere vekter, regnet tapet over hele treningssettet i hvert steg og trakk 250 medlemmer. Jeg brukte en mye sjeldnere terskel, én vekt, én værtilstand per steg og tre medlemmer. I deres forsøk gjorde leddet halen tyngre. Hos meg gjorde det ensemblet smalere.
Forbehold
- Dette er en utforskende sjekk, laget etter at svaret var kjent. Den står utenfor den låste planen og endrer ikke hovedresultatet.
- Fire medlemmer gir grove mål. Andelen døgn ingen medlemmer så, ville ligget langt over null selv for et perfekt ensemble: på kunstige data var den 47 prosent ved en sjelden terskel.
- Målerne er punkter, mens modellene varsler snittet over en rute på 2,5 kilometer. Det trekker forekomsten over 1 for alle modellene.
- Jeg har én treningskjøring per arm. Artikkelen viser at tilfeldigheter i treningen alene kan flytte halen mye.
Hva jeg tar med videre
Svaret på spørsmålet i tittelen er nei, i hvert fall ikke på en måte som redder halearmen. Den er ikke bedre kalibrert i halen enn kontrollarmen der den ble trent, og den bommer helt oftere.
Men sjekken gir to ting til neste runde. Nye varianter av haleleddet bør vurderes på halekalibrering også, ikke bare CRPS over terskelen, for det er der artikkelen fant effekten. Og artikkelens valg peker samme vei som feilene mine: en moderat terskel, samme terskel i trening og evaluering, og flere vekter i stedet for én. Med kort siling først og full lengde bare for de lovende er det nå råd til å prøve.