Hovedresultatet var at halearmen ble dårligere enn kontrollarmen, fordi ensemblet ble for sikkert på seg selv. De fire medlemmene lå for tett sammen, mens de bommet like mye. Læringskurven viste at det skjedde mellom steg 1 000 og 2 000 i treningen.
Det sto igjen ett spørsmål: hvorfor? To forklaringer var mulige. Kanskje haleleddet var for sterkt. Det veide like mye som hele resten av tapet på de ekstreme dagene. Eller kanskje problemet satt i selve terskelen, i måten leddet klipper nedbøren på.
Så jeg testet tre nye varianter.
Tre varianter, samme dose
Haleleddet er det vanlige tapet, men regnet ut på nedbør der alt under en terskel er klemt ned til terskelen selv. Under 20 millimeter ser leddet ingenting. Over ser det alt.
I de tre variantene er dosen den samme: haleleddet utgjør en ellevedel av tapet på en ekstrem dag, mot halvparten i den opprinnelige halearmen. Bare terskelen er endret.
| Variant | Terskel | Hva den tester |
|---|---|---|
| A | 20 mm på seks timer | Samme terskel som før, en tidel av vekten. Følger kollapsen dosen? |
| B | 5 mm på seks timer | En moderat terskel, slik Wessel og medforfattere anbefaler |
| C | ingen | Samme ledd uten klipping. Bare ekstra vekt på nedbør |
Terskelen på 5 millimeter er valgt ut fra data. 20 millimeter på seks timer viste seg å være svært sjeldent i treningsdataene: én av rundt 1 700 verdier. 5 millimeter ligger ved den 97. persentilen, omtrent like sjeldent som 20 millimeter i døgnet er ved målestasjonene.
Alle tre ble trent i 2 000 steg, det korteste som viste kollapsen i læringskurven. Så varslet de annenhver dag fra april til juli 2025, valideringsperioden, og ble rettet mot de samme 40 182 stasjonsdøgnene som kontrollarmen ved steg 2 000.
Reglene ble låst først
Før noen av variantene hadde trent ett steg, skrev jeg ned hva som skulle til for å bestå:
- Spredningen. Forholdet mellom spredning og feil kan ikke falle klart under kontrollarmens. En variant som gjentar kollapsen, er ute uansett hvor gode de andre tallene er.
- Kraftig nedbør. Varianten må være minst like god som kontrollarmen på CRPS over 20 millimeter i døgnet.
- Vanlig vær. Den vanlige CRPS-en kan ikke være mer enn én prosent dårligere.
Planen ble endret tre ganger før start, hver gang med dato og grunn. Én av endringene var at variant C kom til, før noen variant var trent.
Ingen besto
| Mot kontrollarmen | Spredning delt på feil | CRPS over 20 mm | Vanlig CRPS | Dom |
|---|---|---|---|---|
| A: 20 mm | −0,16 | +0,005 | +1,1 % | ute |
| B: 5 mm | −0,05 | +0,018 | +1,4 % | ute |
| C: ingen | +0,06 | +0,008 | −1,9 % | ute |
| Original halearm | −0,11 | +0,004 | +3,5 % | referanse |
A kollapset, B var dårligere på nesten alt, og C bommet på målet for kraftig nedbør. Etter reglene blir det ingen full kjøring av noen av dem.
Men tallene sier mer enn at alle falt.
Mønsteret
Med samme dose følger spredningen terskelen. Ved 20 millimeter krymper ensemblet kraftig. Ved 5 millimeter krymper det litt. Uten terskel blir det bredere enn kontrollarmens.
Det mest overraskende er A. Den har en tidel av vekten til den opprinnelige halearmen, men krymper ensemblet minst like mye. Å skru ned dosen fjernet altså ikke problemet. Det er ikke styrken på haleleddet som klemmer ensemblet sammen. Det er terskelen.
Hvorfor terskelen gjør det
CRPS, målet modellen trenes med, har to deler. Den ene belønner medlemmer som ligger nær det som faktisk skjedde. Den andre belønner medlemmer som er uenige med hverandre, slik at ensemblet viser usikkerheten.
Terskelen ødelegger den andre delen. Alle medlemmer under terskelen klemmes ned til nøyaktig samme verdi, så for leddet er de helt enige. Er ett medlem over og to under, ser haleleddet bare ett medlem som skiller seg ut. Da er det nesten ingen uenighet igjen å belønne, mens den første delen fortsatt drar medlemmene mot fasiten. Resultatet er et ensemble som trekker seg sammen.
Uten terskel skjer ikke dette. Da belønnes uenigheten mellom medlemmene på vanlig måte, overalt.
C er verdt et ekstra blikk
C gjorde mye riktig. Den vanlige CRPS-en ble 1,9 prosent bedre enn kontrollarmens, og ensemblet ble bredere. Av døgnene over 20 millimeter var det bare 30 prosent som ingen medlemmer nådde, mot 50 prosent for kontrollarmen.
Men den gikk for langt. Kontrollarmen varsler fortsatt for få kraftige døgn, mens C varsler rundt 30 prosent for mange. Den har gått fra å være for tørr til å være for våt, og derfor ble den dårligere på kraftig nedbør.
Det er fristende å tenke at en lavere dose av C ville truffet midt i. Kanskje. Men det er en idé jeg fikk etter å ha sett tallene, og da kan den ikke kåres i den samme runden. Den må i en ny runde, med en ny plan låst på forhånd.
Forbehold
- Én kjøring per variant. Tilfeldigheter i treningen kan flytte spredningen noe.
- Bare 61 døgn, fra vår og sommer. Intervallene er brede. Bare kollapsen i A og forverringen for B er klart større enn støyen.
- Mønsteret henger likevel sammen. Tre terskler gir en jevn rekkefølge, og den passer med kollapsen i hovedevalueringen.
Hva det betyr
Til oppgaven er dette det viktigste funnet etter hovedresultatet. Nå vet jeg ikke bare at haleleddet feilet, men hvorfor: den harde terskelen fjerner det CRPS bruker for å holde ensemblet ærlig, og en lavere vekt hjelper ikke.
Det peker mot neste forsøk. Et haleledd som legger mer vekt på kraftig nedbør uten å klippe, for eksempel med en myk overgang rundt terskelen i stedet for en skarp kant, burde kunne fokusere på de kraftige døgnene uten å klemme ensemblet sammen. Ved siden av det står etterbehandling av varslene, som ikke rører modellen i det hele tatt, som det tryggeste sporet.