Tre studenter kikker på noe utenfor bildekanten.

Hvordan lærer studenter når de jobber i grupper og hvordan utvikler de en fagperson-identitet? Lite interesserer utdanningsforskere mer enn dette, avslører forskerne selv - med god hjelp av samme algoritme som New York Times bruker. Illustrasjonsfoto: UiO

Kunstig intelligens avslører hva som er trendy i forskning

Forskerne lar algoritmer finne ut hva tekster handler om.

Av Hilde Lynnebakken
Publisert 28. sep. 2020

 

Hvordan holde seg oppdatert på, for ikke å snakke om sette seg inn i, et fagfelt når det publiseres hundrevis av artikler hvert år?

Forskere baserer seg på anbefalinger fra kolleger, nyhetsbrev og Google Scholar, en “Facebook for forskning.” Men kanskje finnes det kraftigere metoder for å få hjelp til litteraturgjennomgang?

– Det begynte egentlig med at vi trengte å lære oss mer praktisk bruk av maskinlæring, en gren av kunstig intelligens, forteller Tor Ole Odden, postdoktor ved CCSE. – Men ganske raskt så vi at vi fikk interessante funn.

Sammen med kollegene Alessandro Marin og Danny Caballero tok han i bruk en maskinlæringsteknikk innen automatisert analyse av tekster. De lot et dataprogram jobbe med 1300 vitenskapelige artikler om forskning på fysikkutdanning, publisert siden 2001.

Tor Ole Odden og Alessandro Marin. Foto: Hilde Lynnebakken/UiO

Fra interesse for innsiden av studentenes hode...

– Vi så en del tydelige trender i hva det forskes på, sier Odden.

– På tidlig 2000-tall var forskerne i fagfeltet vårt opptatt av det kognitive: hva som skjer i studentenes hode når de lærer fysikk, forteller han.

Rundt 2010 var fokuset skiftet til å se på problemløsning og hvilke strategier studentene tar i bruk.

Den aller tydeligste trenden de fant er at siden 2010 har forskningen gått fra å se på hva som skjer i hver enkelt students hode til å undersøke hvordan studenter jobber sammen i grupper og hvordan de skaper seg en identitet som fysiker. 

… til fokus på grupper og identitet

Trenden har nådd UiO også. Prosjektet Interactive engagement and motivation in physics learning studerer blant annet studentenes utvikling av en faglig identitet.

– Vi finner også igjen dette sosiokulturelle perspektivet i måten vi tenker om utdanning, sier Odden.

På UiO har ikke fysikkstudentene noen fysikkemner første semester, de lærer matematikk, informatikk og programmering.

– Flere blant lærerstaben uttrykker bekymring for hvordan studentene skal utvikle sin identitet som fysiker, og universitetet innfører tiltak for å bøte på dette, påpeker han.

Er du interessert i forskningsnyheter om realfag og teknologi: Følg Titan.uio.no på Facebook eller abonner på nyhetsbrevet vårt

Hva har endret seg på 100 år?

Odden og Marin er i gang med en større analyse, med 5000 artikler publisert i tidsskriftet Science education de siste 100 årene.

Med seg på laget har de historikeren John Rudolph ved University of Wisconsin.

– Gjennom våre analyser kan vi finne hvilke temaer som studeres. Med hans hjelp håper vi å finne ut om disse trendene har noen sammenheng med historiske hendelser, sier Odden.

Eksempelvis kan forskerne se fra analysene at det har vært en stor økning i forskning på kjønnsskjevheter innenfor naturfag og rekruttering av vitenskapelige forskere i de siste 50 årene, med store bølger av interesse midt på 80-tallet og de siste 15 årene. 

– Vi tror disse bølgene muligens henger sammen med noen store amerikanske rapporter, som "The Nation at Risk" på 80-tallet og “The Opportunity Equation” i 2009, som påpekte problemer med kjønnsskjevhet, forteller han.

Han håper å få svar på hvor annerledes måten vi underviser på nå er sammenlignet med for 100 år siden.

Tidligere la undervisere større vekt på å bruke eksempler fra hverdagen.

– Uten lett tilgjengelige youtube-filmer og animasjoner var det nødvendig å ty til enkle midler, sier Odden.

– Vi hører stadig at “studentene må bli mer aktive.” Det ser ut til at hver generasjon undervisere må finne opp sin egen variant av dette. Kanskje kan vi avsløre flere slike gjentakelser og slippe å finne opp det samme på nytt? undrer han.

Algoritmen som finner skjulte temaer

Analysemetoden forskerne har brukt, kan være nyttig langt utover naturvitenskap. Odden forteller at han har sett den brukt på politiske tekster og i spamfilter, til hjelp i litteraturanalyse i humaniora og i industrien til avdekking av feil. 

Når New York Times anbefaler artikler for leserne, er det også basert på samme teknikk.

Det finnes mange metoder for å bruke maskinlæring til tekstanalyse. Den algoritmen UiO-forskerne har brukt, kalles latent Dirichlet allocation, som går ut på å finne ukjente temaer i et sett av tekster.

Odden og kollegene gjorde et forsøk med modellen hvor de lot den jobbe med 9000 overskrifter fra Huffington post og ba den sortere dem itre temaer. Overskriftene var allerede sortert ut og kodet av et menneske til å tilhøre temaene sport, religion og teknologi, slik at det var mulig å teste modellen med dem.

Og ganske riktig, modellen putter overskrifter med ord som church, pope og faith i ett tema og game, win og player i et annet. En setning som “Surprising number of Americans would chop off a finger to stay online” er plassert i tech-temaet, mens “Mark Zuckerberg met with pope Francis and gave him a drone” havner midt mellom religion og tech.

Dataprogrammet sorterer avisoverskriftene som et knippe ord i tre temaer. Den som bruker modellen må selv finne ut hva temaene bør kalles, her sports, religion og tech. Figur fra forskernes artikkel.

 

Den som bruker modellen må selv finne ut hva du vil kalle temaet, modellen gir deg kun et knippe ord.

Erstatter ikke mennesker med fagkunnskap

Selv om automatisk analyse av tekst er et kraftig verktøy, krever det også kunnskap hos den som skal bruke det.

– Du må ha en idé om hva du leter etter, sier Odden. 

For å få meningsfylte resultater må dataene blant annet renses for de mest brukte ordene. I artikler om forskning på fysikk-undervisning er det for eksempel uinteressant å ha med ordet “fysikk,” siden alle forsker på nettopp det.

– Mennesker er de beste til å vurdere resultater og mening i automatiske tekstanalyser. Maskin-metodene kan forsterke det mennesker er i stand til å gjøre, men aldri erstatte oss, sier han.

Den vitenskapelige artikkelen:

Thematic analysis of 18 years of physics education research conference proceedings using natural language processing

Emneord: Fysikk, AI