"Da maskinindlæring bliver allestedsnærværende og bruges til applikationer med mere alvorlige konsekvenser, er der et behov for, at folk forstår, hvordan det forudsiger, så de vil stole på det, når det gør mere end at tjene en annonce," siger Jonathan Su, medlem af det tekniske personale i MIT Lincoln Laboratory's Informatics and Decision Support Group.
I øjeblikket bruger forskere enten post-hoc-teknikker eller en tolkbar model som et beslutningstræ for at forklare, hvordan en black-box-model når sin konklusion. Med post-hoc-teknikker observerer forskere en algoritmens input og output og derefter forsøger at konstruere en omtrentlig forklaring på hvad der skete inde i den sorte boks. Problemet med denne metode er, at forskere kun kan gætte på det indre arbejde, og forklaringerne kan ofte være forkerte. Beslutningstræer, som kortlægger valg og deres mulige konsekvenser i en trælignende konstruktion, fungerer fint for kategoriske data, hvis funktioner er meningsfulde, men disse træer kan ikke tolkes på vigtige områder, f.eks. Computersyn og andre komplekse dataproblemer.
Et neuralt netværk er et computersystem bestående af mange sammenkoblede behandlingselementer. Disse netværk bruges typisk til billedanalyse og genkendelse af genstande. For eksempel kan en algoritme læres at genkende, om et billede indeholder en hund ved først at blive vist billeder af hunde. Forskere siger, at problemet med disse neurale netværk er, at deres funktioner er ikke-lineære og rekursive, såvel som komplicerede og forvirrende for mennesker, og slutresultatet er, at det er svært at finde ud af, hvad netværket har defineret som "hundhed" i billederne og hvad førte det til den konklusion.
For at løse dette problem udvikler holdet det, det kalder "prototype neurale netværk." Disse er forskellige fra traditionelle neurale netværk, fordi de naturligvis koder forklaringer for hver af deres forudsigelser ved at skabe prototyper, som er særligt repræsentative dele af et inputbillede. Disse netværk gør deres forudsigelser baseret på ligheden af dele af inputbilledet til hver prototype.
Det andet område forskergruppen undersøger, er BRL'er, som er mindre komplicerede, ensidige beslutningstræer, der passer til tabular data og ofte lige så præcise som andre modeller. BRL'er er lavet af en række betingede udsagn, som naturligvis danner en fortolkbar model. For eksempel, hvis blodtrykket er højt, er risikoen for hjertesygdom høj. Su og kolleger bruger egenskaber af BRL'er til at give brugerne mulighed for at angive hvilke funktioner der er vigtige for en forudsigelse. De udvikler også interaktive BRL'er, som kan tilpasses straks, når nye data kommer frem for at blive rekalibreret fra bunden på et stadigt voksende datasæt.
Su forklarer: "Vi håber at opbygge en ny strategisk kapacitet til laboratoriemaskinens læringsalgoritmer, som folk stoler på, fordi de forstår dem."
