​Vaikka emme voittajaa oikein ennustaneetkaan...


24.5.2015


​...oli ennusteemme monilta osin odotettua tarkempi. Koska tämä oli ensimmäinen kerta, kun ennustimme Eurovision laulukilpailujen tuloksia, eivät odotukset olleet yhtä korkealla kun ennustaessamme 11. kautta NFL:n amerikkalaisen jalkapallon otteluita. 


Etsimme vertailtavia ennusteita Euroviisuihin usean viikon ajan. Voittajaa ennustivat monet tahot. Tai ainakin heittelivät maiden nimiä voittajiksi. Vähänkään syvällisempiä ennusteita oli vaikea löytää. Irlantilainen euroviisuguru Adrian Kavanagh teki lähes yhtä kattavan ennusteen omamme kanssa. Lisäksi brittien tunnetuimpiin sanomalehtiin kuuluva Guardian teki oman data-analyysiin pohjautuvan ennusteen. Microsoft luotti Bingin algoritmeihin, joista ei kuitenkaan Suomessa päivitettyjä ennusteita saatu. Tämä oli heidän ensimmäinen ennusteensa semi-finaaleiden jälkeen.


​Tarkin ennuste tuli tällä kertaa vedonlyöjiltä eri markkinoiden kautta. Vedonlyöntimarkkinat ennustivat kertoimiensa kautta esim. näiden numeroiden pohjalta. 


Vertaillessamme em. tahojen ennusteiden tarkkuutta, olemme käyttäneet muutamaa eri mittaristoa. Voittajan oikein ennustamista, oikeat maat top 5:een, oikeat maat top 10, paikkavirhe (jokaisesta maan väärästä sijoituksesta saa yhden virhepisteen), top 10:n paikkavirhe ja pistemäärien virhe (jokaisesta ennusteen ja pistemäärän erotuksesta saa yhden virheen. Esim. Ennustimme Italialle 299 pistettä. He saivat 292, joten ennusteemme saa 7 virhepistettä). Jos jokin ennuste listasta puuttuu, ei kyseisessä ennusteessa ole asiaa listattu. Esim. vain Accuscore ja Adrian Kavanugh ennustivat finaalin pistemääriä.


Voittajan ennustaminen


Kavanugh:                Oikein

Bing:                        Väärin

Guardian:                Väärin

Vetomarkkinat:      Oikein

Accuscore:               Väärin


Jälkiviisaus on tietysti ennusteissa luvallista, joten harrastamme sitä tässäkin. Teimme oman ennusteemme päivää ennen finaalia. Ruotsin vedonlyöntikerroin laski finaalipäivän ja Italian nousi. Juuri ennen finaalia olleilla vedonlyöntikertoimilla ennusteemme olisi ollut Ruotsi... Mutta jokainen pystyy ennustamaan, veikkaamaan, arvaamaan, peesaamaan tai muulla tavoin listaamaan yhden maan voittajaksi. Mitä tuloksia hieman laajempi tulosanalyysi tuo tullessaan?


TOP 5 maiden ennustaminen


​Kavanugh:                4/5

Bing:                        4/5

Guardian:                1/5

Vetomarkkinat:      5/5

Accuscore:               5/5


Top 10 maiden ennustaminen


Kavanugh:                7/10

Guardian:                4/10

Vetomarkkinat:      10/10

Accuscore:               9/10


Näistä luvuista näkee selvästi, että Guardianin data-analyysillä ja todellisuudella oli hyvin vähän tekemistä keskenään. Voidaan sanoa tekevämme data-analyysiä tai käyttävämme analytiikkaa ja tehokkaita big data työkaluja, mutta jos käytettävä data ja sen muuttujat ovat väärät, tulokset voimme lukea englantilaisesta laatulehdestä.


Euroviisuguru Adrian Kavanugh osui kohtalaisen hyvin kärkipään maita ennustaessaan. Omakin ennusteemme oli hyvä, vain  12. tippunut Azerbaidzan korvautui yhdeksänneksi sijoittuneella Israelilla vertailtaessa ennustettamme lopullisiin tuloksiin. Vedonlyöjillä ja kertoimia laskevilla yrityksillä oli kuitenkin häkellyttävä osumatarkkuus. Kaikki top 5 ja top 10 maat olivat listattuna kertoimien mukaan. Tätä aihetta tutkimme lisää toisaalla.


Seuraavassa olemme tarkastelleet sijoitusvirheiden määrää, eli kuinka paljon sijoitukset ennusteiden ja tulosten välillä heittivät. Esim. ennustimme Italian voittoa ja heidän loppusijoituksensa oli kolmas, joten saamme ennusteestamme kaksi sijoitusvirhepistettä. Mitä pienempi virhepisteiden määrä, sitä tarkempi ennuste.


Sijoitusvirheet top 10


Kavanugh:               37

​Guardian:               72

Vetomarkkinat:      8

Accuscore:             ​ 17


Sijoitusvirheet kaikki maat


​Kavanugh:               120

Vetomarkkinat:      72

Accuscore:              65


Myös tässä tarkastelussa vedonlyöntimarkkina näytti voimansa. Vaikka Accuscoren ennusteessa koko finaalin virhepisteet olivat pienemmät, on vedonlyöntimarkkinan vertaaminen hieman epäoikeudenmukaista, koska kertoimet pohjautuvat koko kisan voittamiseen, ei 24. sijan ennnustamista voida oikein tehdä näiden kertoimien pohjalta.


Piste-ennusteiden virhe


Kavanugh:                1687

Accuscore:               729


Jokaisen finaalikappaleen pistemääriä eivät monet ennustaneet. Tässäkin tarkastelussa Accuscore oli puolet euroviisuguru Adrian Kavanughia tarkempi. 


Yleisesti voidaan sanoa, että finaaliennusteemme oli tavallisilla mittareilla mitattuna hyvin tarkka. Vedonlyöntimarkkinoiden kertoimien myötä lasketut ennusteet olivat häkellyttävän tarkkoja. Muut ennusteet olivat sitten vähemmän tarkkoja. Jos joku muu on todistettavasti ennustanut vastaavia asioita ennen finaalia, lisäämme ne mielellämme tähän vertailuun.


Koko Euroviisujen ennusteen heikoin tulos sattui Suomen edustajan Pertti Kurikan nimipäivien tuloksen kohdalle. Ennustimme heitä jatkoon semi-finaalista sijalla neljä ja todennäköisyydellä 80%. Sijoitus oli semi-finaalin viimeinen 16. ja jatkoon menon todennäköisyys 0%. Miksi?


Mallimme otti huomioon liian suurella painoarvolla vedonlyöntikertoimia koko kilpailun voitolle ennustaessamme semi-finaaleita. Muilla edustajilla näiden kahden välillä ei suurta heittoa ollut, mutta Suomen edustajien kohdalla kertoimet olivat hyvin ristiriitaisia. Samalla kun heille ennustettiin koko kilpailun voittoa kuudenneksi pienimmällä kertoimella, finaalin pääsyn kerroin oli vain 11. pienin ensimmäisestä semi-finaalista. Käytännössä tämä tarkoitti 28.-29. suurinta mahdollisuutta voittoon. Jatkossa viilasimme malliamme ja toisen semi-finaalin tulokset olivat parempia.


Mallien kehittäminen on jatkuvaa työtä, jossa valmista ei tule. Tulee vain parempia ja parempia ennusteita. 2016 Euroviisuissa ennustamme tätä vuotta tarkemmin.