Raziskovalci so razvili inovativno metodo za ocenjevanje tega, kako umetna inteligenca (AI) razume podatke, in s tem izboljšali preglednost in zaupanje v diagnostična in napovedna orodja, ki temeljijo na AI.

Ta pristop pomaga uporabnikom razumeti notranje delovanje “črnih škatel” algoritmov umetne inteligence, zlasti v medicinski rabi in v kontekstu prihajajočega evropskega Akta o umetni inteligenci.

Skupina raziskovalcev Univerze v Ženevi (UNIGE), Ženevskih univerzitetnih bolnišnic (HUG) in Nacionalne univerze v Singapurju (NUS) je razvila nov pristop za ocenjevanje razumevanja tehnologij umetne inteligence.

Ta preboj omogoča večjo preglednost in verodostojnost diagnostičnih in napovednih orodij, ki jih poganja AI. Nova metoda razkriva skrivnostno delovanje tako imenovanih “črnih škatel” algoritmov AI, kar uporabnikom pomaga razumeti, kaj vpliva na rezultate, ki jih AI ustvarja, in ali jim je mogoče zaupati.

To je še posebej pomembno v scenarijih, ki imajo pomemben vpliv na človeško zdravje in blaginjo, na primer pri uporabi AI v medicinskem okolju. Raziskava ima poseben pomen v kontekstu prihajajočega Akta o umetni inteligenci Evropske unije, ki si prizadeva regulirati razvoj in uporabo AI v EU.

Ugotovitve so bile nedavno objavljene v reviji Nature Machine Intelligence. Časovne vrste podatkov, ki predstavljajo razvoj informacij skozi čas, so prisotne povsod: na primer v medicini pri beleženju srčne dejavnosti z elektrokardiogramom (EKG), pri proučevanju potresov, sledenju vremenskim vzorcem ali v gospodarstvu za spremljanje finančnih trgov.

Te podatke je mogoče modelirati z uporabo tehnologij AI za izgradnjo diagnostičnih ali napovednih orodij. Napredek AI in predvsem globokega učenja, ki vključuje usposabljanje stroja s pomočjo velikih količin podatkov z namenom njihove interpretacije in učenja uporabnih vzorcev, odpira pot k vse bolj natančnim orodjem za diagnozo in napoved. Kljub temu pa pomanjkanje vpogleda v to, kako delujejo algoritmi AI in kaj vpliva na njihove rezultate, postavlja pomembna vprašanja o zanesljivosti tehnologije “črne škatle” AI.

»Način delovanja teh algoritmov je v najboljšem primeru netransparenten,” pravi profesor Christian Lovis, direktor oddelka za radiologijo in medicinsko informatiko na Medicinski fakulteti UNIGE ter vodja oddelka za medicinsko informacijsko znanost na HUG in eden izmed avtorjev študije o razumevanju AI.

»Seveda so vložki, še posebej finančni, izjemno visoki. Ampak kako lahko zaupamo stroju, ne da bi razumeli osnovo njegovega sklepanja? Ta vprašanja so ključna, še posebej v sektorjih, kot je medicina, kjer lahko odločitve, ki jih poganja AI, vplivajo na zdravje in celo življenje ljudi, ter v financah, kjer lahko pripeljejo do ogromnih kapitalskih izgub.«

Metode razumevanja si prizadevajo odgovoriti na ta vprašanja z razkrivanjem, zakaj in kako je AI prišla do določene odločitve ter razlogov za to. »Poznavanje elementov, ki so prevesili tehtnico v prid ali proti rešitvi v določeni situaciji, kar omogoča vsaj nekaj preglednosti, povečuje naše zaupanje v delovanje orodij,” pravi docent Gianmarco Mengaldo, direktor laboratorija MathEXLab na Fakulteti za oblikovanje in inženiring Nacionalne univerze v Singapurju.

»Vendar trenutne metode razumevanja, ki se široko uporabljajo v praktičnih aplikacijah in industrijskih tokokrogih, dajejo zelo različne rezultate, tudi ko se uporabljajo pri isti nalogi in podatkovnem nizu. To postavlja pomembno vprašanje: Katera metoda je pravilna, če naj bi obstajal edinstven, pravilen odgovor? Zato postaja ocenjevanje metod razumevanja prav tako pomembno kot samo razumevanje?«

Razlikovanje podatkov je ključno pri razvoju tehnologij AI, ki bi jih v celoti razumeli. Na primer, ko umetna inteligenca analizira slike, se osredotoča na nekaj izstopajočih lastnosti.

Doktorski študent v laboratoriju profesorja Lovisa in prvi avtor AI študije Hugues Turbé pojasnjuje: »AI lahko na primer razlikuje med sliko psa in sliko mačke. Enak princip velja tudi za analizo časovnih zaporedij: stroj mora biti sposoben izbrati elemente, na podlagi katerih bo razmišljal. Pri EKG signalih to pomeni usklajevanje signalov iz različnih elektrod za oceno morebitnih nihanj, ki bi bila znak določene srčne bolezni.«

Izbira metode razumevanja med vsemi, ki so na voljo za določen namen, ni enostavna. Različne metode AI pogosto dostavijo zelo različne rezultate, tudi ko se uporabljajo na istem nizu podatkov in nalogi.

Da bi se spopadli s tem izzivom, so raziskovalci razvili dve novi ocenjevalni metodi, ki pomagata razumeti, kako AI sprejema odločitve: eno za identifikacijo najpomembnejših delov signala in drugo za oceno njihove relativne pomembnosti glede na končno napoved.

Za oceno razumevanja so skrili del podatkov, da bi preverili, ali so pomembni za sprejemanje odločitev umetne inteligence. Vendar je ta pristop včasih povzročal napake v rezultatih. Da bi to popravili, so stroj usposobili na povečanem nizu podatkov, ki vključuje skrite podatke, kar je pomagalo ohranjati ravnovesje in natančnost. Ekipa je nato ustvarila dva načina za merjenje uspešnosti metod razumevanja, kar je pokazalo, ali AI uporablja prave podatke za sprejemanje odločitev in ali so vsi podatki pravilno upoštevani.

»Naša metoda si prizadeva oceniti model, ki ga bomo dejansko uporabljali na svojem operativnem področju in s tem zagotoviti njegovo zanesljivost,« pojasnjuje Hugues Turbé. Da bi ekipa nadaljevala raziskave, je razvila sintetični niz podatkov, ki je na voljo znanstveni skupnosti, da bi enostavno ocenila vsako novo AI, namenjeno razlagi zaporedij v času.

Ekipa načrtuje preizkusiti svojo metodo v kliničnem okolju, kjer je še vedno široko razširjen strah pred AI. »Gradnja zaupanja v ocenjevanje umetne inteligence je ključen korak k sprejetosti v kliničnih okoljih,« pojasnjuje dr. Mina Bjelogrlic, ki vodi ekipo za strojno učenje v Lovisovi diviziji in je soavtorica te študije. »Naša raziskava se osredotoča na ocenjevanje AI, ki temelji na časovnih zaporedjih, vendar bi se enaka metodologija lahko uporabila za AI, ki temelji na drugih vrstah podatkov, kot so slikovni ali besedilni podatki. Cilj je zagotoviti transparentnost, razumljivost in zanesljivost AI za uporabnike.«

Razumevanje notranjega delovanja umetne inteligence je ključno za izgradnjo zaupanja v njeno uporabo, še posebej v kritičnih sektorjih, kot sta medicina in finance. Raziskava, ki jo je izvedla skupina raziskovalcev Univerze v Ženevi in Nacionalne univerze v Singapurju, ponuja inovativno metodo ocenjevanja razumevanja umetne inteligence, ki pomaga uporabnikom razumeti, zakaj in kako se sprejemajo odločitve. Ta pristop je še posebej pomemben za medicinske aplikacije, kjer so odločitve, ki jih sprejema umetna inteligenca, lahko življenjskega pomena.

VIR: Računalniške novice