tiistai 31. toukokuuta 2011

Tee ekoteko - sano ei tehotuotetulle sähkölle!

On ollut ajankohtaista kauhistella, miten Saksan päätös ajaa ydinvoimalansa alas saa teollisuuden tiukille. Vaikka ymmärrän itkun idean, en pysty valitettavasti tarjoamaan sympatiaa.

Ensinnäkin, sähkön hinnan nousu, paitsi tuo voittoja energiaa myyville yhtiöille, tekee kaikessa teollisuudessa ja kulutuksessa energian säästämisen kannattavaksi eli talousteoriaopinkin mukaan tehokkaaksi.

Energiahan on pitkään ollut bulk-tuote. Kun energiantuotantoa on tarvittu lisää, sitä on rakennettu lisää (näin esimerkiksi meillä Suomessa). Nykyään tilanne on energian suhteen ympäristösyistä toinen. On surullista, että jotkin teollisuuden alat ovat kehittyneet tällaisessa ympäristössä, että halvan energian loppuminen vastaa lintujen talviruokinnan lopettamista. Siitä huolimatta: on hyvä, että energia ei enää ole bulk tuote, jota tehotuotetaan aina vaan kasvavan tarpeen mukaan suurissa voimaloissa, vaan sillä on toimivat pienemmän mittakaavan markkinat.

Monien kritisoimat Saksan aurinkovoimasubventaatiot luovat toki jo määritelmänsä mukaan tehottomuutta markkinoilla (klassinen oletus: markkinat ovat optimitehokkaat. seuraus: kaikesta ylimääräisestä markkinoiden säätämisestä tehokkuus pienenee.) Markkinat ovat toisaalta täysin kyvyttömät ennustamaan pitkän aikavälin kehitystä. Onkohan tähän aurinkovoimasubvention tehottomuuteen kuitenkaan laskettu mukaan esimerkiksi infrastruktuuriin muutoksia, joita nämä uudistukset aiheuttavat - aurinkopaneelivalmistajat, sähköverkkotietämys, älykkäät sähköverkot. Kyllä, sen aurinkosähkökilowattitunnin eteen, jota energiatehoton teollisuus itkee kalliiksi ollaan nähty hieman enemmän hikeä, verta ja kyyneleitä yhteiskunnan kehittämiseksi kuin ydin- tai hiilivoimalan vastaavan kWh:n.

Esim. IT-kuplan aikana luotiin koko internetinfrastruktuuri uudelleen, valopiuhaa vedettiin joka kirkonkylään, mistä saamme edelleen kiittää suomen hyviä internetyhteyksiä. Ei itseasiassa olisi paha, jos tähän väliin saataisiin vaikka uusiutuvan energian kupla. Tehdään aivan hulluna paneeleita, myllyjä, sähköverkkoa yms. Sitten kun huuma laantuu ja sijoittajien rahat ovat menneet niin ainakin meillä on uusi ajattelutapa ja infrastruktuuri jäljellä, sen arvoa onkin vaikeampi mitata rahassa.

Riskit ovat mielestäni lähinnä siinä, että a) Saksa siirtyy uusiutuviin liian aikaisin. Tämä on täysin mahdollinen skenaario, kun ydinvoimakin ajetaan kireällä aikataululla alas. Harmittaa, että miten periaatteessa näinkin "hyvät päätökset" perustuvat johonkin ydinvoimapelkoon- ja kauhuun. b) Uusi uusiutuva teknologia tulee markkinoille, joka on epäyhteensopiva Saksan tähän astisten ponnistelujen kanssa. Maailmassa on varmasti tuhansia uusiutuvan energian parissa puuhaavia yhtiöitä. Heti kun tiedän, mikä niistä on seuraava Nokia, minusta tulee rikas.

Väistämättä nykymuotoinen ydinvoima, öljy ja hiilivoima tulee häviämään. Kysymys on oikeastaan, että koska. Saksa on edelläkävijä, siinä on riskinsä, mutta myös palkinnot ovat suuria.




ps. Niille, joille talouden koko ja bruttokansantuote ovat tärkeitä, tässä sähkön hinta ja bruttokansantuote / asukas Yhdysvaltojen osavaltioista (koska Yhdysvallat osaa datan jakamisen paremmin kuin eurooppalaiset) samassa kuvassa. En osaa spekuloida syy ja seuraussuhteista tuosta kuvasta, mutta ainakaan mitään syytä olettaa, että kallis sähkö korreloisi pienen talouden kanssa en näe, pikemminkin päin vastoin.
Oikeassa alareunassa on muuten Wyoming, jossa on korkea BKT ja halpa sähkö. Wikipediasta: "Components of Wyoming's economy differ significantly from those of other states. ... The state is the number one producer of coal in the U.S." Kai sen noinkin voi tehdä.

sunnuntai 17. huhtikuuta 2011

Avain menestykseen - määrittele poliittinen akseli!

Tässä kirjoituksessa demokratian noviisi, amatööri tilastotieteilijä purkaa tuntojaan perussuomalaisten vaalivoiton jälkeen.

Ymmärsin (eli ainakin kovaan ääneen selitin vaalivalvojaisissa) jo ennen vaalitulosten julkaisua näiden vaalien idean. Tämä on ehkä itsestään selvyys joillekin konkareille, mutta minulle uutta! Ennen tätä "suurta" oivallusta, HS:n julkaisemasta avoimesta vaalidatasta minun ja esim. Juha Törmäsen analyysit povasivat kansan jakautumista vasemmisto-oikeisto akselille, sekä akselille, jonka esim. minä määrittelin liberaali/arvokonservatiivi. Kuinka väärässä olinkaan...

Mitä on populismi? Populismi pyrkii luomaan vastakkainasetteluja, joiden avulla se pyrkii jakamaan kansaa, ja sitä kautta saamaan ääniä.

Mikä on pääarvoanalyysi? Se pyrkii luomaan esim. kaksi kappaletta akseleita, joille ehdokkaat voidaan sijoittaa, niin että ehdokkaiden hajonta akseleilla on maksimaalista. Esimerkiksi minä aikaisemmassa kirjoituksessani nimesin nämä akselit vasemmisto/oikeisto ja liberaali/arvokonservatiivi nimillä.

Minun teoriani on: Perussuomalaiset olivat niin äänekkäitä mediassa, että he saivat määrätä kokonaan oman akselinsa! He pääsivät vaikuttamaan merkittävästi mediakeskusteluun, määräten sitä kautta HS vaalikoneen kysymykset, ja edelleen loivat tässä datassa olevan eron Perussuomalaisten ja valtapuolueiden välillä (ja erityisesti Vihreiden). Kyseessä EI siis ole Suomen kansan mielipiteiden kautta välttämättä oleellinen asia, vaan populistinen vastakkainasettelu.

Populismin oppitunti numero 1 - luo vastakkainasetteluja yleiseen mediakeskusteluun! Tätä kautta PAKOTAT ihmiset tekemään päätöksiä näiden kysymysten välillä vaaleissa. Koska hajonta kasvaa, saat ääniä! Oikea populistipoliitikko määrää itse asiat joiden välillä kansa äänestää - riippumatta siitä, miten oleellisia asioita nämä ovat.

Tilastomatemaattisesti kova populistipuolue muotoilee siis sellaiset poliittiset "kynnyskysymykset", jotka luovat mahdollisimman suuren painon omalle akselilleen päätyen merkittäväksi äänien jakajaksi.

Demokratian oikein toimimisen kannalta olisi tärkeää, että vähäpätöiset, jopa käytännössä mahdottomat asiat, eivät nousisi vastakkainasettelun kohteeksi muiden tärkeempien kysymysten ohi.

Asiasta toiseen... ehkä jälkiviisautta, mutta Suomen suhteellisen vaalitavan menetelmässä, tässä kuvassa, merkittävän vaalitappion kokenut hallituspuolue Keskusta on täsmälleen samassa paikassa kuin vaalivoiton kokenut oppositiopuolue Perussuomalaiset, kun tehdään pääarvoanalyysin sijaan MDA (multiple discriminant analysis) hajotelma puolueiden ehdokkaista. Tässä tapauksessa MDA pyrkii luokittelemaan puolueet akseleille, niin että puolueiden sisäiset erot minimoituvat. Data vuodelta 2007. Kuvassa PS ehdokkaat mustalla ja keskusta syaanilla.



Joka tapauksessa, olen innolla seurannut kymmenien suomalaisten painiskeluja avoimen HS vaalikonedatan kimpussa. Tämä luo toivoa sille, että herättämällä keskustelua ja avoimuutta voimme saavuttaa tason, jossa demokratia toimii paremmin. Ei kansa vielä tiedä, mutta ehkä joskus vielä tietää. Demokratia 2.0!

sunnuntai 10. huhtikuuta 2011

Avoin data: Kyllä kansa tietää - Vuoden 2007 eduskuntavaalit

Alustavan analyysin mukaan kansalle ei tarjota vuonna 2007 tarpeeksi valinnanvaraa liberaali/konservatiivi akselilla, kun puolueiden pääpaino on keskittynyt vasemmisto/oikeisto akselille. Olen kuitenkin huomannut, että tulokset ovat kvalitatiivisesti herkkiä sille, että miten kysymysten käsittelyn tekee, joten antamani prosentit vaihtelevat huomattavasti eri tavoista riippuen.

Helsingin Sanomat julkisti vaalikonedatansa vuodelta 2007 ja 2009. Olennaista tässä on se, että nyt käytettävissä on myös ihmisten vastaukset.

Tästä asetelmasta herää mielenkiintoisia ongelmanasetteluja. Edustaako kansan mielipide poliitikkojen mielipiteitä, eli ts. toteutuuko demokratia? Syntyykö välillä poliittisia tyhjiöitä ja täyttyvätkö ne?

Pääkomponenttianalyysin avulla voimme määrittää jokaiselle vaalikonevastaukselle paikan 2D-tasolla. Aiemmin on jo käynyt ilmi, että nämä kuvaavat vuoden 2010 ehdokkaiden mukaan suuntaa-antavasti vasemmisto-oikesto akselia, sekä arvokonservatiivi-liberaali akselia.

Vuoden 2007 vaalikonedatasta tehty pääkomponenttianalyysi päätyy samanlaisiin tuloksiin kuin aikaisemmat työt vuodesta 2011. Kuvassa on tehty kansanedustajaehdokkaille pääkomponenttianalyysi, ja jossa ehdokkaan puoluekanta on kuvattu pisteen värillä. Tämän jälkeen 'kansan mielipide' eli kaikkien 380 000:n vaalikonevastauksen jakauma on piirretty kuvaan kansanedustajaehdokkaiden määräämille akseleille. Huomatkaa, että tämä on tietenkin vinoutunut otos koko kansan mielipiteestä. Tarkoituksenani on käsitellä data vielä alueittain ja ikäryhmittäin normalisoituna. Tästä kuvasta kuitenkin huomataan, että kansa on tiivistynyt vasemmisto-oikeisto akselilla enemmän keskelle kuin mitä puolueiden ehdokkaat (eli puolueet ovat levittäytyneet ikäänkuin turhaan vasemmisto-oikeisto akselille).


Kyllä kansa tietää

Puolueita on syytetty siitä, että ne eivät edusta kansan ääntä. Miten siis HS-vaalikoneen käyttäjät sijoittuvat, kun heille tehdään pääkompoenttianalyysi (eli erona aikaisempaan, sijoitetaan vaalikoneenkäyttäjät akseleille, ikäänkuin he olisivat 380 000 kansanedustajaehdokasta). Näihin samoihin akseleihin voimme nyt sijoittaa myös kansanedustajaehdokkaat. Yleiskuva ei juurikaan muutu ja akselit ovat edelleen samat. Ehkä siis myös kansalle on tärkeää oikeisto/vasemmisto ajattelu sekä liberaali/konservatiivi. Tosin toinen vaihtoehto on se, että vaalikone on laadittu niin että nämä erot korostuvat.


Kun kansa itse määrää mielipideakselinsa, hot-spot levenee, koska itseasiassa koko pääkomponenttianalyysin ideana on maksimoida datan varianssi. Nämä pisteet kuvaavat siis kansan mielipiteitä optimaalisesti, niin hyvin kuin kaksi koortinaattia sen voi vain suinkin tehdä. Itseasiassa demokratian toteutumisen asteen voisi jopa määritellä niin, että kansanedustajaehdokkaat (tai kansanedustajat, TULOSSA!) ovat asettuneet yhtä leveästi kansan määräämälle akselille kuin itse kansa. Laskin alustavasti toteutuneet varianssit, niin kansanedustajaehdokkaat olivat levinneet vasemmisto oikeisto akselille 30% enemmän kuin kansa, mutta liberaali/konservatiiviakselilla kansanedustajaehdokkaat ovat 40% suppeampia kuin kansa. Alustavasti siis: vuoden 2007 politiikkaan tarvitaan enemmän hajontaa kuin perinteinen oikeisto/vasemmisto jaottelu. Näin itseasiassa on käynytkin, mutta valitettavasti vain konservatiiviseen suuntaan.

Henkilökohtaisesti olen tällä hetkellä hyvin tyytymätön demokratian toimintaan Suomessa. Keltaisen lehdistön sensaatiokulttuuri on levinnyt jo valtamediaan ja kokonaisuuden kannalta epäolennaisia asioita nostetaan usein esille. Demokratia vaatii toimiakseen kunnolla valistuneen äänestäjän ja nykymedia ei valistumiseen tarvittavaa tietoa valitettavasti pysty tarjoamaan.

Teknistä tietoa ja vastuuvapautus: Kaikki vaalikoneen muuttujat on otettu mukaan. Mikäli vaalikoneen kysymysvaihtoehdot voi esittää skaalalla, on käytetty yhtä muuttujaa ja numerointia tasavälein, mutta mikäli vaihtoehdot olivat tasaiset keskenään, niin jokaiselle vastausvaihtoehdolle on tehty oma muuttujansa. En ole varsinaisesti tilastomatematiikan asiantuntija, joten en uskalla luvata tietojen absoluuttista tarkkuutta - kaikki on so far mutua. Laitan lähdekoodit, joilla tämä data on kerätty tähän esille. Dataa on niin paljon, että siitä voi tehdä monenlaista analyysiä: Python parseri, matlab pääkomponenttianalyysi, kuvan piirto ja pääohjelma.

lauantai 9. huhtikuuta 2011

Avoin data: HS-vaalikoneen analysointi

Tarkastelin aikaisemmin HS vaalikonetietojen perusteella miten paljon mitkäkin puolueet ovat toistensa kanssa samaa mieltä. Tein datalla samankaltaisen pääkomponenttianalyysin kuin Juha Törmänen aiemmin, ja kvalitatiivisesti hyvin samankaltaisin tuloksin tarkasteltaessa puolueiden sijoittumista.

On mielenkiintoista, että kahdesta merkittävimmästä pääkomponentista näkyy selvästi kaksi trendiä ilman, että tähän matemaattiseen malliin on syötetty mitään poliittista näkemystä. Akselit ovat mielestäni vasemmisto/oikeisto ja liberaali/arvokonservatiivi. (Kuten Törmänen, jouduin myös kääntämään kuvaajaa, joten x- ja y- akselit ovat allekirjoittaneen omaa näkemystä mitä tulee kuvaajan kiertoon).





Tässä on otettu huomioon kaikki kysymykset (paitsi typerä Facebook-kaverikysymys), niin että kaikki vastausvaihtoehdot on luokiteltu erillisiksi muuttujiksi. Tämä tekee enemmän eroa ehdokkaiden välille, vaikka nämä olisivat vastanneet tietyissä kysymyksissä skaalan samaan päähän. Tämä on tutkimus on tehty oman kikkailun ilosta - itse luottaisin enemmän Törmäsen huolellisempaan tilastolliseen analyysiin.

Esimerkin vuoksi poimin Pirkanmaan Vihreiden ehdokkaiden sijoittumiset tällä akselilla.Heitä voi tarkistaa myös Törmäsen mallista täältä - valitsemalla pelkästään Vihreät ja alueeksi Pirkanmaan vaalipiiri, sekä viemällä hiiren osoittimen pallon päälle. Alla olevasta kuvasta saa isomman version klikkaamalla sitä.

Edit: Alla toinen esimerkki mitä datasta voidaan tutkia. Tässä kuvassa on isommalla symbolilla eroteltu nykyiset kansanedustajat. Katkoviivalla piirretyt kovarianssiellipsit kertovat EI-kansanedustajien hajonnan 50% luottamusvälillä ja kokoviivalla kansanedustajien vastaavan. Erot eivät ole merkittäviä, mutta ehkä hieman yllättäen kaikkien puolueiden kansanedustajat ovat omaan suuntaansa hieman radikaalimpia. Pidän eroa kuitenkin hyvin pienenä.

torstai 7. huhtikuuta 2011

HS vaalikoneen avoin data

Helsingin Sanomat julkaisi sisällön, jonka ehdokkaat olivat sen vaalikoneeseen syöttäneet. Tässä on ensimmäinen analyysini aineistosta. Pallojen halkaisija ja väri kuvaavat sitä, että miten paljon täsmälleen samoja vastauksia vaalikoneen kysymyksiin satunnaisella kahden eri puolueen ehdokkaalla on. Luonnollisesti voimme laskea myös paljonko puolueen ehdokkailla on keskenään samoja vastauksia.

Lähteenä on käytetty http://blogit.hs.fi/hsnext/hsn-vaalikone-on-nyt-avointa-tietoa.

Suurin ero tulee välille KOK-SKP (ja KOK-VAS), mutta myös VIHR-PS ero on merkittävä. Piraattipuolue loistaa hajonneilla vastauksillaan, sillä piraattipuolue on keskenään enemmän eri mieltä kuin kaikki ehdokkaat yhteensä (keskimäärin kaikki ehdokkaat olivat samaa mieltä 12.3:sta kysymyksestä keskenään). Perussuomalaisia lähimpänä on KD, ja yllättäen SDP. Vihreät ovat yllättävän vasemmalla ja kaukana kokoomuksesta.

Laskettu suure ei ole optimaalinen kuvaamaan puolueiden eroja, ja se perustuu vain yhteen 30 kysymyksen aineistoon. Siinä on mukana kaikki ehdokkaat ja kysymykset samalla painolla. Siitä huolimatta tästäkin datasta näkee hyvin puolueiden välisiä eroja eli ts. kuva on odotettu.

Mikäli haluat itse leikkiä datalla, saat parsittua dataa tällä skriptillä, jota käytin tämän kuvan tekemiseen. Skripti tarvitsee alkuperäisen datan tabeilla erotettuna (alkuperäinen annettu CSV ei toimi, sillä ehdokkaat ovat käyttäneet puolipisteitä kommenteissaan). En takaa, että skripti tai kuva toimii.