I forrige innlegg spurte jeg hvor mye av de 3 000 treningsstegene som faktisk gjør noe. Treningstapet tydet på at det meste skjedde tidlig, men treningstapet støyer mye og måler bare data modellen allerede trener på.
Nå har jeg et bedre svar, for begge armene.
Hvordan det er målt
Under treningen ble modellen lagret for hvert 500. steg. For hvert av disse sjekkpunktene regnet jeg ut valideringstapet: det vanlige tapet, med de samme innstillingene og de tre ensemblemedlemmene, men på data fra april til juli 2025 som modellen aldri trente på. Halearmen er målt med det samme vanlige tapet, uten haleleddet, så de to armene kan sammenlignes direkte.
Alt kjørte på vanlige prosessorer, uten grafikkort. Hvert sjekkpunkt ble målt på de samme tolv valideringstilstandene, spredt over hele perioden og alle fire tider på døgnet. Siden det er de samme tilstandene hver gang, kan hvert sjekkpunkt sammenlignes direkte med urørt Bris, tilstand for tilstand.
Kurven
| Steg | Kontrollarm, tap | Andel av gevinst | Halearm, tap | Andel av gevinst |
|---|---|---|---|---|
| 0, urørt Bris | 2,290 | 0 % | 2,290 | 0 % |
| 500 | 2,258 | 69 % | 2,273 | 58 % |
| 1 000 | 2,249 | 86 % | 2,267 | 77 % |
| 1 500 | 2,246 | 92 % | 2,265 | 84 % |
| 2 000 | 2,245 | 96 % | 2,262 | 93 % |
| 2 500 | 2,244 | 98 % | 2,261 | 97 % |
| 3 000 | 2,243 | 100 % | 2,260 | 100 % |
Kurvene flater ut raskt. Etter 500 steg, en sjettedel av treningen, hadde kontrollarmen nesten 70 prosent av forbedringen. Etter 1 000 steg var den på 86 prosent. De siste 2 000 stegene, to tredjedeler av regnekraften, ga bare de resterende 14 prosentene.
Halearmen lærer litt saktere, med 77 prosent etter 1 000 steg, men formen er den samme. Begge armene er bedre enn urørt Bris på alle tolv tilstandene allerede ved steg 500.
Viser en kort kjøring det som gikk galt?
Dette var det viktigste spørsmålet. Hovedresultatet var at halearmen ble dårligere enn kontrollarmen. Skal korte kjøringer brukes til å velge mellom varianter, må de vise den samme forskjellen. Hvis forskjellen først oppstår sent i treningen, vil en kort kjøring skjule den, og en dårlig variant kan se bra ut.
Forskjellen kommer tidlig. Ved steg 500 er 87 prosent av den endelige forskjellen allerede på plass, og fra steg 1 000 ligger den helt stille. En kjøring på 1 000 steg ville altså vist nøyaktig det samme som hele kjøringen: at halearmen er dårligere enn kontrollarmen, og omtrent hvor mye.
Det så ut som godt nytt for den billige oppskriften. Men et tap kan være like dårlig av ulike grunner, og her viste det seg å bety noe.
Spredningen, målt direkte
Lagt til 26. og 27. september.
Halearmens problem i hovedresultatet var at ensemblet ble for sikkert på seg selv: de fire medlemmene var for like hverandre, mens de bommet like mye. Valideringstapet kan ikke vise det direkte. Det viser bare at halearmen er dårligere, ikke hvorfor.
Så jeg kjørte varsler fra sjekkpunktene ved steg 1 000, 2 000 og 3 000 i begge armene. Det ble ett varsel annenhver dag fra april til juli 2025, valideringsperioden, med fire medlemmer. Varslene er rettet mot 40 182 stasjonsdøgn, de samme for alle seks modellene.
| Døgnet 30 timer fram | Spredning | Feil | Spredning delt på feil |
|---|---|---|---|
| Kontrollarm, steg 1 000 | 2,75 mm | 3,52 mm | 0,87 |
| Halearm, steg 1 000 | 2,78 mm | 3,69 mm | 0,84 |
| Kontrollarm, steg 2 000 | 2,61 mm | 3,50 mm | 0,84 |
| Halearm, steg 2 000 | 2,26 mm | 3,47 mm | 0,73 |
| Kontrollarm, steg 3 000 | 2,55 mm | 3,50 mm | 0,82 |
| Halearm, steg 3 000 | 2,19 mm | 3,38 mm | 0,73 |
Ved steg 1 000 er halearmens ensemble ikke for sikkert. Medlemmene sprer seg like mye som kontrollarmens, 2,78 mot 2,75 millimeter. Halearmen er dårligere fordi den bommer mer.
Ved steg 2 000 har bildet snudd. Nå bommer halearmen litt mindre, men ensemblet har krympet med 14 prosent i forhold til kontrollarmen. Ved steg 3 000 er det fortsatt 14 prosent, nesten nøyaktig det samme som i teståret, der det var 15 prosent.
Forskjellen i forholdet mellom spredning og feil viser det samme:
| Halearm minus kontrollarm | Forskjell | 95 % intervall |
|---|---|---|
| Steg 1 000 | −0,03 | −0,20 til +0,10 |
| Steg 2 000 | −0,11 | −0,22 til −0,02 |
| Steg 3 000 | −0,09 | −0,19 til −0,01 |
Forskjellen i valideringstap er altså omtrent like stor ved steg 1 000 og steg 3 000, men av to ulike grunner. Svikten som hovedevalueringen fant, at ensemblet blir for sikkert, oppstår mellom steg 1 000 og 2 000, og er fullt utviklet ved steg 2 000. En kjøring på 1 000 steg ville ikke vist den. En kjøring på 2 000 steg ville vist den.
Det er bare 61 varsler per modell, og intervallene er brede. Men spredningen i seg selv er nesten lik ved steg 1 000 og nesten like krympet ved steg 2 000 som ved steg 3 000, og det er vanskelig å lese noe annet ut av det.
Hva det betyr for neste runde
Jeg kan ikke kutte treningen til 1 000 steg og stole på resultatet. En variant av haleleddet kunne sett grei ut der og likevel gjort ensemblet for sikkert senere. Men 2 000 steg holder:
- Siling over 2 000 steg. Det fanger både forskjellen i tap og svikten i spredningen, og koster to tredjedeler av en full kjøring, rundt 20 timer i stedet for 30.
- Spredningen sjekkes for hver variant, med varsler fra valideringsperioden, ikke bare tapet. Tapet viste ikke hvorfor halearmen var dårligere.
- Følge spredningen under treningen, så en variant som begynner å krympe ensemblet, kan stoppes før steg 2 000.
- Full lengde og testperioden bare for vinneren.
Det blir ikke tre ganger billigere, men en tredjedel billigere per variant, og uten å risikere at silingen skjuler akkurat den feilen jeg vet kan oppstå.
Forbehold
Valideringstapet er ikke kraftig nedbør. Det måler alle variablene seks timer fram, og nedbør teller lite i det. Det er mulig at effekten på kraftig nedbør bygger seg opp saktere enn tapet som helhet.
Én kjøring per arm. Kurvene og spredningen kommer fra én trening av hver arm. Tilfeldigheter i treningen kan flytte både hvor raskt modellen lærer og hvor spredningen havner.