Vertaisarviointi
Kaikista maailman verrattain harvinaisista ilmaisista MOOC-kursseista Tekoälyn etiikka nousi sattumalta mediahuomioon vertaisarviointiensa osalta.
Joku opiskelijoistaan oli nimittäin turvautunut tekoälykirjoituksiin kurssilla, joka ilmestyi maailmankaikkeuteen jo ennen kuin kielimallien arpoma vaihtoehto kirjoittamiselle oli yhtäkkiä kaikkien saatavilla.
Mitä ihmettä.
Kelataanpa hieman kohukirjoittelun taa.
Aivan kaikkea kun ei välttämättä ensireaktioihin keskittyvän somen ja median kautta tälläkään kertaa tuotu esiin.
Vertaisarvioinnit MOOCeissa
Suomalaisten MOOC-nettikurssien yleisiin vertaisarviointikäytäntöihin on vuosien aikana tutustunut miljoonia opiskelijoita kansainvälisesti. Muualla maailmassa ei tiettävästi vastaavia vuorovaikutteisia ilmaiskursseja ole.
Vastaavia kursseja, joiden suosiota selittää ennen kaikkea ilmaisuus ja joustavan opiskelun mahdollisuus on ollut opiskeltavissa kohta jo vuosikymmenen verran.
Suomenkielisten MOOCien kautta valmistuukin jatkuvasti tuhansia vertaisarvioinnin kokemusasiantuntijoita kuukausittain.
Moni onkin varmaan vertaisarviointeja tehnyt. Tai pääsisi niitä koska tahansa tekemään, jos haluaisi suorittaa vuorovaikutteisen kurssin vaikkapa tekoälyn etiikasta.
Tällöin saattaisikin kurssia tehdessään huomata, että vertaisarvioinneissa voi olla esimerkiksi tyhjiä, geneerisiä tai jopa huonoja vastauksia.
MOOC-kurssien vertaisarvioinneissa ensimmäisenä tuleekin yleensä huonoja vastauksia, joita vertaisarvioijan toivottaisiin hylkäävän, jottei huonosti vastannut pääsisi kurssilla eteenpäin.
Joudut siis todennäköisesti joutua hylkäämään useampia tietyllä logiikalla huonoimmiksi jo ennalta arvioituja vastauksia.
Saattaa joku tietysti päästää huonoja vastauksia läpikin, vaikka anonyymi vertaisarviointi on paljon helpompi hylätä kuin sellainen, joka olisi omalla nimellään perusteltava hylättävälle.
Jos olettaisit jonkun tehneen tehtävän yksinomaan tekoälyn avulla olisikin huomattavan helppoa hylätä se.
Jos toiset vertaisarvioijat toimivat samalla logiikalla, esimerkiksi antaen kolme hylkyä, ei tehtävää pääse läpi tekoälytekstillä, eikä kurssin suorittaminen kokonaisuutena onnistu.
Onkin aikalailla riskialtista vastata vaatimattomasti kysymykseen nähden, kun ennalta ei tiedä, kuinka aineistoon ja kysymykseen todennäköisesti perehtynytkin vertaisarvioija sen vastauksesi kokee.
Vapaasti valittavien opintojen nettikurssilla onkin tämän myötä käytännössä verrattain armoton vertaisarvostelu, ellei oteta huomioon korkeakoulukursseja, joilla on sellainen harvinaisuus kuin palautetta antava opettaja.
Palaute kursseilla
Jotakin varmaan kertoo, että Helsingin yliopistossa opiskelijoiden myöntämän tunnustuksen vuoden opettajalle eräänä vuonna sai tiettävästi ainoa korkeakouluopettaja, jonka kursseilla sai ylipäätään minkäänlaista kirjallista palautetta tehtävistään.
On hyvin harvinaista, että kurssipalautuksiasi tai tekemisiäsi arvioitaisiin rakentavasti korkeakoulukurssilla.
Asteikko yhdestä viiteen tai hyväksytystä hylättyyn on käytännössä se palaute. Lopun saa itse päätellä.
Myös perinteisellä kurssilla voi saada ja joutua tekemään vertaisarviointeja, mutta niissä on yleensä lähinnä kyse siitä, että vastataan kyllä tai ei siihen onko siinä täytetty minimimerkkimäärä tai vastasiko se tehtävänantoa tiettyjen kysymysten osalta.
Ehkä.
Kynnys on vastaavasti aika korkea lähteä hylkäämään niissä ketään, kun puhutaan ihmisistä, joiden kanssa pitäisi todennäköisesti istua samoilla luennoilla.
Tai sitten olla ylipäätään opiskelijana niin jokaisen tehtävä tasolla, että pystyisi ylipäätään olemaan kurssintekijöiden lailla aivan vastaavassa asemassa, mitä tulee materiaalien ja yksittäisten tehtävien arvosteluun.
Rakentavan palautteen olemattomuus peruskursseilla kertonee enemmän suomalaisesta korkeakoulujärjestelmästä kuin se että yrittääkö joku mahdollisesti päästä tehtäviä läpi varsinaisen tutkinnon sisällön ulkopuolisella vapaasti valittavien opintojen nettikurssilla minimivaivalla.
Voihan sitä tietysti ajatella, että susille heitettynä kannustetaan itseohjautuvuuteen.
Uskoisin kuitenkin, että hyvässä tutkinnossa olisi hyvä olla seassa ankkurikursseja, joilla saisi yksilöllistä ammattimaista palautetta ja mahdollisuuden reflektoida tekemistään, kun ei sekään niillä vuoden yliopisto-opettajan kursseilla ollut kuin käytännössä kolmisen virkettä rakentavaa palautetta.
Perusopinnot
Erään tutkinnon perusopintojen Moodle-verkkokurssilla kuuden hengen ja kahden yliopiston opettajakunta vetosi siihen, että koska opiskelijoita on kahdesta yliopistosta ja neljästä eri tutkinnosta kurssilla yli 300, ei tällöin voida antaa yksilöllistä palautetta tehtävistä.
Samalla korkeakoulutetulla logiikalla pitäisi antaa tietysti 1800 eri palautetta kuudesta eri kirjoitustehtävästä, eikä mitenkään voi muuttaa toteutusta tai tehtävien määrää.
Kirjoitellaan sitten massiivikurssilla vertaisarvioidusti hyväksyttyjä 1500-2000 merkin tehtäviä ja arvotaan oliko sinnepäinkään.
Tämä esimerkki on kuitenkin siitä harvinainen tutkintokurssi, että ylipäätään jonkinlaista palautetta edes saa tekemisistään.
10-15 minuutin kurssimateriaalit olivat tosin videoituja edellisiltä vuosilta, kuten artikkelit ja tehtävänsä niin hieman jäi epäselväksi, miksi yhden loppuverkkotentin kirjoitusosuuden arvostelu vaatii kuusikkoa, kun varmaan jo 2-3 kuukausipalkattua pystyisi ne 300 lyhyttä vastausta arvostelemaan.
Ainoa yksilöllinen palaute toisten opiskelijoiden vertaisarviointien ohella kurssilla oli lopputentin yksirivinen, jossa kommentoitiin pistemäärän hyvyyttä.
Yleisellä tasolla annettiin kooste kunkin viikkotehtävän kirjoitustehtävistä, mutta auttaako se sitten opiskelijaa kehittämään vastaamistaan aivan niin kuin jo yksittäinen suora ja henkilökohtainen asiantuntijapalaute laittaa ajattelemaan pidemmälläkin aikavälillä.
Reflektointi
Helppoihin noppiin liitetään turhan usein ajatus, että ne opintopisteet olisi saatava mahdollisimman helpolla.
Aivan miten tahansa.
Mikä voi tietysti joidenkin ihmisten kohdalla pitää paikkaansakin, mutta ehkäpä tämänkin tekoälykurssin opiskelijasuosiota väestötasolla selittää yhä kuitenkin se vastaavien johdantokurssien harvinainen ilmaisuus ja joustavuus kuin se, että sillä on käytössä tavallinen korkeakouluopiskelun vertaisarviointisysteemi.
Siltä osin onkin hieman epäreilua nostaa yhtä nettikurssia esiin, kun on täysin mahdollista ja ehkäpä todennäköistäkin, että käytännössä jokaisella korkeakoulukurssilla hyödynnetään tekoälykirjoituksia.
Voi jollakin kurssilla tietysti olla ainoastaan salitenttinä tai tenttiakvaariossa tehtäviä tehtäviä, vaikka fyysistä läsnäoloa vaativia tenttitiloja ei aivan liikaa ole nykyiselläänkään.
Enkä nyt tiedä kannattaako yksittäistä kurssia suunnitella ensisijaisesti heidän kannaltaan, joita ei opiskelu edes kiinnosta.
Jossei missään vaiheessa eloa syty mielenkiinto asioihin niiden itsensä vuoksi niin miksi sitä pitäisi korkeakoulukurssinkaan tavoitella aivan jokaisen kohdalla.
Kokisin korkeakoulukurssien merkityksen olevan lähinnä siinä, että niillä sellainen itsereflektointi ja oppimishalu korkeintaan herää, ellei ole jo aiemmin kokenut vastaavaa.
Tietoisesti ohjattuna oppimiskokemuksena ajoittaisinkin sitä reflektiota enemmän sinne tutkinnon varsinaisen kurssien maailmaan.
Vaikka itsellenikin se kurssi, jolta sai käytännössä ensimmäisen ja viimeisen kerran palautetta, oli täysin mielenkiinnosta melko sattumalta vapaasti valikoitunut eli ei mikään tutkinnon pakollinen osa.
En sen perusteella osaakaan oikein opiskella muutoin kuin mielenkiinto edellä, mikä ei tietysti sulje nettikursseja kaiken ulkopuolelle vaan niitäkin on sivuston myötä täysi vapaus valikoida mielenkiintonsa mukaan.
Kun tärkeintä edelleen lie ylipäätään se opiskelun mahdollisuus.
Vertaisarvioinneissakin.
Tekoälyn olettaisin huomattavasti todennäköisemmin arvostelevan tulevaisuudessa kurssitehtäviä kuin korkeakouluopettajien.
Tuskinpa mitenkään huonommin tai vähemmällä vaivalla.
Kurssipalaute
Aiemmin mainitun peruskurssin opiskelijoilta lopputentin jälkeen kerätyn pakollisen palautteen opettajavastapalautteessa oli yllättäen luettavissa myös kummallisia konsepteja helppojen noppien luonteeseen liittyen, joten yritetäänpä selkeyttää.
Kummallista
"Tänä syksynä esitettiin huomattavasti enemmän ehdotuksia siitä, että moduulitenttien oikeat vastaukset julkaistaisiin jälkikäteen. Tämä lisäisi varmasti I kurssin läpinäkyvyyttä ja tehostaisi oppimista. Avoimuuteen sisältyy kuitenkin vaara siitä, että oikeat vastaukset leviäisivät laajemmalle ja olisivat jo etukäteen seuraavien kurssien osallistujien käytettävissä. Vaikka tämä riski ei toteutuisi laajasti, yksittäisetkin tapaukset vaikuttaisivat kurssin maineeseen ja tätä kautta opiskelijoiden (ja opettajien) motivaatioon. Molempien osapuolten intressissä lienee, että opintojaksoa ei mainittaisi Helpot nopat -sivustolla."
Kyseinen jo aiemmin tarkoituksella nimeä vaille jätetty kurssi on tiettävästi lähinnä pakollinen perustutkintokurssi, joten olisiko se nyt kovin mahtava osoitus käytännössä kaikkien saatavilla olevista vapaasti valittavista ja yleensä jokseenkin joustavista opinnoista.
Kurssille ei varmaan edes pääse mukaan, ellei sitten avoimen yliopiston kautta ilmoittaudu.
Eikä se kurssin kirjoitustehtävien tai palautteen laatu tälläkään kertaa sellaista ollut, että kannattaisi maksaakaan mitään, mikä nyt varmaan on satunnaisesti valikoidun yliopistokurssin odotusarvo.
Monia joustavaan moderniin opiskeluun liittyviä käytäntöjä kurssilla ei myöskään ollut vaan viikottaisia ehdottomasti aikarajan sisällä palautettavia kirjoitustehtäviä. Toki seassa ei ollut mitään pakollisia yhden viikon ryhmätöitä tai muuta mahtavaa, kuten vielä huonommin toteutetuilla pakollisilla verkkoperuskursseilla saattaa olla.
Katoavaa kansanperinnettä on yliopistoissamme jo se ajatus, että joka viikko ei tarvitsisi olla jotain askarreltavaa vaan aineistojen ja luentojen omaehtoinen tutustuminen ja tentti olisi se, mikä ratkaisee.
Viikottainen tehtävä ei yksittäisenä kurssina nyt vielä kovin raskasta tahkottavaa ole, mutta jos suorittaa vaikka viittä vastaavaa kurssia samaan aikaan tuleehan siinä jo aika paljon tehtävää ilman aikaa reflektoida tekemisiään.
Konseptina itsenäinen kirjoitustehtävävetoinen verkkokurssi ilman minkäänlaisia ryhmätyöosia on sinällään harvinaista herkkua, jos esseetehtävistä tykkää eli tämä nimeltämainitsematon oli silti kivakin kurssi tehdä.
Ehkäpä se siltä osin täyttäisi helppojen noppien vaatimukset, jos toisten tutkintojen pakollisten peruskurssien suorittaminen olisi keskeinen osa helppoja noppia opiskelijailmiönä.
Helpoissa nopissa ei taida kuitenkaan monia vahvasti aikataulurajoitettuja kursseja olla, joten kyseinen kurssi ehti jo sijoittua sivustolle esimerkinomaisesti vertaisarviointikäytännöillään sivustolle ennen kuin edes tuli vastaan tämä viesti.
Palautetta antava, kaikille avoin ja ilmainen esseevetoinen, kahden opintopisteen nettikurssi voisi tietysti olla osa helppojen noppien kokemusmaailmaa eli en nyt julistaisi, että verkkokurssien tasolla sellaisen huippukurssin aikaansaaneiden ja opiskelijoiden intressit olisivat suuressa ristiriidassa.
Voihan tietysti olla, että sinnekin ilmestyisi joitakin tekoälylle vastauksiaan ulkoistavia, mutta ehkä nyt enemmän keskittyisin siihen porukkaan, joka suorittaa niitä kursseja mielenkiinnosta teemaa kohtaan, kun tekoälyvastaajia pystyy hylkäämäänkin jo nykyisillä vertaisarviointitoteutuksilla.
Jos tämänkertainen, jo vuosia hiottu toistuva verkkokurssitoteutus oli osoitus huipussaan olleesta kuuden yliopisto-opettajan ja kahden eri yliopiston motivaatiosta alkaa yliopistokurssien vaatimattomuuden arvoitus ratkeamaan.
Opiskelijoiden kunnianhimosta kurssejaan kohtaan en samassa lauseessa puhuisi.
Tuo lupaava kirjoituskurssikonsepti sinällään kuitenkin sopisi laajempaankin levitykseen, vaikka toteutuksensa ei varsinaista asiantuntevaa henkilökohtaista palautetta saakaan vielä aikaan.
Vastaukset
Pienten viikoittaisten monivalintatenttien toteutus oli tällä kurssilla osin tarkkarajainen eli käytännössä pahimmillaan jopa sanasta sanaan kurssimateriaalin tenttaamista, eikä abstraktimpaa hahmottelua vaativaa, vaikka seassa oli myös jo huomattavasti ymmärrättävämpiäkin kysymyksiä.
Eli onhan se hieman stressaavaa, kun minimipisterajat oli samalla vedetty verrattain korkeiksi.
En kuitenkaan usko, että kurssien vastausten jakamiselle olisi aivan niin suurta sosiaalista tilausta suomalaisten opiskelijoiden keskuudessa kuin pelätään, mutta onhan joku varmaan tuotakin kurssia ryhmässä tehnyt.
Vaikkei nyt nykyinenkään toteutus aivan murtumaton ole, kun tentin palauttaessaan saa nähdä, että on saanut esimerkiksi 1-0 pistettä kyseisestä väitteestä, jolloin voi nyt varmaan arvata pistemäärästään menikö se täysin, osittain tai ei ollenkaan oikein.
Otin kylläkin kuvakaappaukset jokaisen tentin vastauksistani. En siitä syystä, että olisi kiva laittaa ne jakoon, kun huomattavasti parempi kokemus se kurssia tekevillekin on tehdä kaikki tehtävät ihan itse kuin ryövätä kurssikokemus toisilta.
Miksi halusin ottaa vastauksia talteen tuolla kurssilla liittyy ennemminkin kyseisen kurssin monivalintatoteutukseen.
Kun kysymykset voivat olla tulkinnanvaraisia, sallittuja suorituskertoja on vain kolme ja virhemarginaali verrattain korkealla vaadittaessa vähintään 6/10 kysymyksestä oikein, on hyvä varautua siihen, ettei kaikki menekään ensiyrittämällä aivan suunnitellusti. Eli ottaa hienoinen oljenkorsi kaiken varalle.
Sain kyllä kaikki monivalinnat ekalla läpi, mutta valintakokeiden ja nettikurssien kautta on kiitettävästi hioutunut vääriä vastausvaihtoehtoja poissulkeva vastaustekniikkakin, joten voihan se vasta-alkajille olla vieläkin jännittävämpi tilanne, kun kurssin suorittaminen loppuisi hylkäykseen.
Eikä se nyt varmaan kenenkään etu johdantokurssilla ole, että ne kysymykset eivät olisi läpäistävissä hetken mietinnällä.
Tuollainen kaikki tai ei mitään toteutus on kuitenkin aina verrattain stressaava toteutus siihen nähden, että se virhemarginaali olisi suurempi, kuten moderneilla helppojen noppien nettikursseilla yleensä on moniin vanhan maailman toteutuksiin nähden, joilla on tullut vastaan luentovideoiden sanasta sanaan resitoinnin vaatimuksia.
Ei se nyt vaativaa ole verkkotentissäkään etsiä videolta oikeaa kohtaa vastatakseen kysymykseen, mutta parempi se olisi varmaan että ne kysymykset käsittelisivät teemaa niiltä osin, joista jää edes jotain mieleen.
En henkilökohtaisesti kaipaa monivalintoihin edes oikeita vastauksia, kun yksittäisten kysymysten rooli kursseilla ei korkeakoulukoulutuksessa ole useinkaan muussa kuin herättelemässä siihen, että opiskelija olisi lukemastaan ja kuulemastaan kartalla kulloisenkin aineiston tasolla.
Eikä tuollakaan kurssilla kurssiarvosanaan vaikuttanut mikään muu kuin lopputentti ja sen toisen osan kirjoitustehtävä.
Lopputentti
Lopputentti oli järjestetty kätevästi yhtenä määrättynä viikonpäivänä aikavälillä 08-20 tehtäväksi, joten ei tämä kurssi nyt siltäkään osin aivan helppojen noppien joustavan opiskelun ihanteita täytä.
Jatkuvia viikkotehtäviä sisältävän kurssin muuttuminen lopputenttiviikolla yksipäiväiseksi saattoikin tulla iloisena yllätyksenä, jos olit aiemmilla viikoilla tehnyt vasta loppuviikosta sen viikon tehtävät.
En tosin tiedä oliko tarkoitus, että tenttikirjoitustehtävän tehtävänanto oli jo alkuviikosta avoimesti näkyvillä toisin kuin monivalintaosio, mutta se nyt sentään huomattavasti helpotti jo aika kymmenien yksittäistä tutkimusta koskevan ennakkomateriaalin kymmenien sivujen haravointia.
Kuvitella koitan, miksi lopputentin kirjoitustehtävässä 70-sivuisen materiaalin tiivistämistä kolmelta kantilta kannattaa painottaa tekoälyaikakaudella niin, että 200 sanaan ei sen lisäksi mahdu enää pahemmin mitään omaksi ajatteluksi laskettavaa. Tekoälyltä kun tiivistelmä ja toisto sujuu huomattavasti paremmin kuin uusien näkökulmien keksiminen.
Toki lähteiden referointi ja tiivistäminen ovat keskeisiä taitoja korkeakouluissa, mutta olisi mielenkiintoista nähdä vertailututkimus suosituimpien tekoälysovellusten ja satojen korkeakouluopiskelijoiden tiivistelmistä vastausten mahdollisten yhtäläisyyksien suhteen.
Se kolmen tietyn näkökulman vaade, kun oli varmaan lähellä maksimia siitä, montaako näkökulmaa tiivistämällä oli edes mahdollista löytää aineistoista niin se kenties yhdenmukaistaisi molempien vastaamista osin jo luonnostaan.
Hyvä/huono
Paperiset salitentit kursseilla ovat tässä maailmanajassa jo harvinaisia ja tenttiakvaariotiloja on niin vähän, että niissä on jatkuvaa ruuhkaa eli hyvä on, jos pääsee edes tenttimään.
Siltä osin verkkokurssit varsinaisten vapaasti valittavien helppojen noppien johdantoluontoisten kurssien ulkopuolellakin ovat entistä tutumpi kokemus, mutta tutkinnon pakollisia kursseja kannattanee arvioida enemmän hyvä tai huono kurssi -asteikolla kuin asetella niitä helppojen noppien kursseja vasten, joiden vetovoimatekijät ovat ennemminkin hyödyssä ja joustavuudessa.
Eli oliko tutkintokurssista mitään hyötyä tai oppiko sillä mitään vai oliko tehtävien tekeminen tekemistä pelkän tekemisen vuoksi.
Olen ennemmin sitä koulukuntaa, että eri ihmisille olisi parempi antaa vaihtoehtoja tehdä kursseista ennemminkin sellaisia, että ne palvelisivat heidän kiinnostustaan opiskelua ja mitä tahansa muutakin mielenkiintoista kohtaan.
Hyvin vaikeaahan se on tehdä yhtään mitään ilman mielenkiintoa mihinkään.