Umetna inteligenca: orodje, svetovalec ali nova avtoriteta?

Orodje, svetovalec in avtoriteta niso ista vloga

Najprej potrebujemo razliko med tremi vlogami. Orodje razširi našo sposobnost: izračuna, išče, prevaja, razvršča ali pomaga ustvariti osnutek. Svetovalec naredi korak dlje: ponudi oceno, priporočilo ali možnost, ki naj vpliva na našo presojo. Avtoriteta pa nastane takrat, ko njen izhod začne določati, kaj se bo zgodilo, tudi če je človek formalno še vedno prisoten.

Ta prehod ni odvisen samo od tehnologije. Isti model je lahko v eni organizaciji navaden pomočnik, v drugi pa praktično odločevalec. Če zaposleni nima časa, informacij, pristojnosti ali varnega prostora, da priporočilo zavrne, človeški podpis pod končno odločitvijo še ne pomeni resničnega človeškega nadzora.

Zato je prava enota analize vedno sistem človek–AI–institucija: kdo postavi cilj, kdo oblikuje vhodne podatke, kdo razume omejitve, kdo lahko izhod zavrne in kdo nosi posledice, če je odločitev napačna.

Generativni sistemi imajo posebno lastnost: lahko oblikujejo tekoč, samozavesten in zelo uporaben odgovor tudi takrat, ko je podlaga šibka ali napačna. NIST pri generativni AI uporablja izraz confabulation za samozavestno ustvarjeno, vendar napačno ali izmišljeno vsebino. To ni moralna napaka sistema; je značilnost načina, kako takšni modeli ustvarjajo izhod.

Človek pa tekočnost hitro zamenja za kompetentnost. Lepo strukturiran odgovor, strokovni ton in hitrost lahko zmanjšajo občutek potrebe po preverjanju. Prav zato je »Kako oceniti vir« še vedno ključen: vprašanje »kdo to trdi?« se pri AI spremeni v »na podlagi česa je ta izhod nastal in kako ga lahko neodvisno preverim?«

AI je zato lahko izvrsten začetni zemljevid, vendar zemljevid ni dokaz. Pri pomembnih trditvah mora ostati pot do primarnega vira, podatka, izračuna ali druge preverljive podlage.

Priporočilo ni odločitev

Najbolj nevaren premik se pogosto zgodi neopazno: sistem je uveden kot »podpora odločanju«, nato pa njegov predlog postane privzeta odločitev. Človek formalno klikne potrditev, vendar v resnici ne opravi več samostojne presoje. Priporočilo postane odločitev, ko je cena odstopanja od priporočila večja od cene slepega sprejetja.

To lahko nastane zaradi časovnega pritiska, produktivnostnih ciljev, hierarhije ali preprosto zato, ker mora človek pri odstopanju napisati dodatno obrazložitev. V takem okolju lahko organizacija govori o »človek v postopku« (angl. human in the loop), medtem ko je človek v resnici samo zadnja administrativna postaja avtomatiziranega procesa.

Ta članek zato zahteva jasno ločitev: sistem lahko predlaga, vendar mora biti vnaprej določeno, kdo dejansko odloča, s katerimi informacijami in s kakšno pravico do odstopa.

Intuitivno se zdi, da bo kombinacija človeške presoje in močnega modela vedno boljša od vsakega posebej. Raziskave kažejo bolj zapleteno sliko. Meta-analiza eksperimentov o sodelovanju človek–AI je ugotovila, da AI pogosto izboljša človeško uspešnost glede na človeka brez pomoči, vendar kombinacija človeka in AI v povprečju ne preseže nujno boljšega od obeh članov para.

Razlog je razumljiv. Človek mora vedeti, kdaj naj sistemu zaupa in kdaj ne. Če ne zna prepoznati primerov, kjer je AI močan, in primerov, kjer je šibek, lahko dobra avtomatizacija celo vnese novo vrsto napak.

Zato kakovost sistema ni samo natančnost modela. Pomembna je tudi kakovost sodelovanja: kalibracija zaupanja, prikaz negotovosti, možnost preverjanja, usposobljenost uporabnika in čas, ki ga ima za samostojno presojo.

Avtomatizacijska pristranskost: ko priporočilu damo preveč teže

Raziskave že dolgo opisujejo avtomatizacijsko pristranskost: nagnjenost človeka, da avtomatiziranemu predlogu pripiše preveliko težo ali zaradi njega zmanjša lastno preverjanje. Sistematični pregledi kažejo, da pojav ni omejen na eno področje in da ga lahko okrepijo obremenitev, kompleksnost naloge, časovni pritisk in visoko zaupanje v sistem.

To ne pomeni, da ljudje vedno preveč zaupajo algoritmom. Obstaja tudi nasprotni pojav — neupravičeno zavračanje dobrega avtomatiziranega nasveta. Problem torej ni »zaupaj manj«, ampak zaupaj kalibrirano: toliko, kolikor upravičujejo dokazano delovanje sistema, konkretni kontekst in možnost neodvisnega preverjanja.

»Zakaj konformnost pogosto premaga dejstva« je pokazal, kako lahko skupinski pritisk spremeni presojo. Pri AI nastane sorodna, vendar drugačna nevarnost: priporočilo lahko deluje kot tih strokovni konsenz, čeprav je v resnici samo izhod modela, ki ga nihče v prostoru ni preveril.

Evropski AI Act pri visokorizičnih sistemih zahteva, da so zasnovani tako, da jih lahko med uporabo učinkovito nadzorujejo fizične osebe. Pomembna beseda je učinkovito. Nadzor ni resničen, če človek ne razume osnovnega namena in omejitev sistema, nima dovolj informacij ali nima pristojnosti za poseg.

Smiselni človeški nadzor zato zahteva vsaj štiri stvari: možnost razumeti kontekst izhoda, čas za preverjanje, dejansko pravico do zavrnitve ter možnost ustaviti ali zaobiti sistem, ko je to potrebno. NIST podobno poudarja jasno določene vloge in odgovornosti v konfiguracijah človek–AI ter vprašanje, ali so ljudje res opolnomočeni, da izhod izpodbijajo.

Če organizacija človeku naloži odgovornost, vendar mu ne da moči za spremembo odločitve, je ustvarila odgovornost brez avtorstva. Če mu da moč, vendar ne znanja ali časa, pa je nadzor samo formalnost.

Pomembno je tudi, da nadzornik ni odvisen samo od istega povzetka, ki ga je ustvaril sistem. Če človek vidi le končni rezultat brez dostopa do ključnih dejstev, alternativ ali opozoril, lahko navidezna možnost zavrnitve postane prazna. Nadzor potrebuje neodvisno informacijsko pot, ne samo gumb za potrditev ali zavrnitev.

Odgovornost se ne sme izgubiti v verigi avtomatizacije

»Ali avtoriteta odpravi osebno odgovornost?« je pokazal, da razdelitev dela ne izbriše osebne in institucionalne odgovornosti. Pri AI je ta problem še izrazitejši, ker je veriga lahko dolga: razvijalec modela, ponudnik storitve, integrator, organizacija, ki sistem uvede, vodja procesa in oseba, ki uporabi izhod.

Napaka je, če vsak člen pokaže na drugega. Razvijalec reče, da ni odločal; organizacija, da je samo uporabljala priznano orodje; operater, da je sledil priporočilu; vodstvo pa, da je odločitev sprejel človek. Odgovornost mora slediti dejanski sposobnosti vplivati na cilj, zasnovo, uvedbo, uporabo in popravo sistema.

OECD, UNESCO, NIST in Svet Evrope zato vsak na svoj način poudarjajo odgovornost, sledljivost in nadzor. Tehnologija lahko pomaga pri odločitvi, ne more pa postati prostor, kamor institucija odloži lastno moralno in pravno odgovornost.

Višja kot je posledica, močnejša mora biti možnost ugovora

Ni enako, ali AI priporoči glasbo ali sodeluje pri odločitvi o zaposlitvi, kreditu, zdravljenju, zavarovanju, socialni pravici ali varnostnem ukrepu. Večja kot je možnost škode za človeka, manj sprejemljiva je nepreverljiva avtomatična avtoriteta.

Svet Evrope pri odločitvah, ki pomembno vplivajo na pravice, poudarja informacije, postopkovna jamstva in možnost izpodbijanja odločitve oziroma uporabe AI sistema. To je bistveno: človek ne potrebuje samo pojasnila, da je »algoritem ocenil tveganje«, ampak pot, po kateri lahko napako dokaže in doseže popravo.

Pravica do ugovora je praktična meja med svetovalnim sistemom in nedotakljivo avtoriteto. Če odločitev ni mogoče razumeti, preveriti, izpodbijati ali popraviti, se tehnična učinkovitost začne spreminjati v institucionalno nepreglednost.

AI kot vir mora prestati isti test kot vsak drug vir

Pri vsakdanji uporabi je AI pogosto hkrati iskalnik, povzetkar, razlagalec in sogovornik. Zaradi tega hitro pozabimo, da odgovor ni primarni vir. Model lahko pravilno združi veliko znanja, lahko pa tudi zameša obdobja, pripiše trditev napačnemu avtorju ali samozavestno dopolni praznino.

»Kako oceniti vir« zato pri AI postane še pomembnejši. Pri pomembni trditvi vprašamo: ali lahko pridem do izvirnega dokumenta? Ali je vir aktualen? Ali gre za dejstvo, interpretacijo ali napoved? Ali obstaja nasprotni dokaz? Ali je odgovor mogoče reproducirati z neodvisno potjo?

Najbolj zdrav odnos do AI ni niti slepo zaupanje niti avtomatično nezaupanje. Je začasno zaupanje, sorazmerno z dokazljivostjo, z več preverjanja tam, kjer so posledice večje.

Institucija lahko AI spremeni v avtoriteto tudi brez takega namena

De facto avtoriteta pogosto ne nastane zato, ker nekdo izrecno odloči, da bo »AI vladal«. Nastane skozi organizacijske spodbude. Če sistem obdeluje več primerov, zmanjšuje stroške in standardizira procese, se začne vsako človeško odstopanje prikazovati kot neučinkovitost.

Sčasoma se lahko zgodi, da zaposleni začnejo braniti odločitev sistema, ker je to varneje za njihovo kariero; vodje zmanjšajo strokovno osebje, ker pričakujejo avtomatizacijo; podatki se začnejo zbirati tako, da ustrezajo modelu; proces pa se preoblikuje okoli tega, kar je mogoče enostavno izmeriti. Takrat AI ni več samo orodje v instituciji — institucija se začne prilagajati orodju.

To je pomembna povezava z »Institucionalni zajem: ko sistem začne služiti sebi«. Institucionalni zajem ni nujno samo zajem s strani zunanjega interesa. Sistem lahko začne služiti tudi lastni metriki, postopku ali avtomatizaciji, če izgubi stik z namenom, zaradi katerega je bil vzpostavljen.

Dolgotrajna odvisnost lahko oslabi tudi človeško strokovnost. Če ljudje vedno redkeje opravijo osnovno presojo sami, lahko organizacija čez čas izgubi sposobnost prepoznati, kdaj je sistem napačen. Zato mora dobra uvedba AI ohranjati ne le pravico do človeškega posega, ampak tudi kompetenco za tak poseg — z usposabljanjem, periodičnim ročnim preverjanjem in ohranjanjem strokovnega znanja.

Dvanajst vprašanj: ali AI pomaga presoji ali jo nadomešča?

Preden AI dobi pomembnejšo vlogo v procesu, lahko uporabimo preprost audit. 1. Kaj je naloga sistema? 2. Ali daje informacijo, priporočilo ali dejansko odločitev? 3. Kdo je formalni in kdo dejanski odločevalec? 4. Ali uporabnik razume glavne omejitve sistema? 5. Ali je mogoče preveriti podlago pomembnega izhoda? 6. Ali je prikazana negotovost oziroma meja zanesljivosti?

Nadaljujemo: 7. Ali ima človek realno pravico in čas, da priporočilo zavrne? 8. Ali se odstopanje od AI kaznuje ali administrativno otežuje? 9. Kdo odgovarja ob škodi? 10. Ali lahko prizadeti človek odločitev izpodbija in doseže popravo? 11. Kaj se zgodi, če sistem odpove ali ni na voljo? 12. Ali redno preverjamo, ali AI še vedno služi prvotnemu namenu?

Če so odgovori nejasni, problem ni nujno v modelu. Lahko je v instituciji, ki je priporočilo neopazno spremenila v ukaz in odgovornost razpršila tako daleč, da je nihče več ne čuti kot svojo.

članki od »Monopol, plutokracija in koncentracija ekonomske moči« do »Umetna inteligenca: orodje, svetovalec ali nova avtoriteta?« so pregledali različne poti, po katerih se lahko moč ponovno zbere: premoženje, delegiranje, izredna pooblastila, institucionalni zajem, lažna decentralizacija, podatki, algoritmi pozornosti, identitetno-plačilne točke nadzora in nazadnje avtomatizirana avtoriteta. Skupni vzorec je isti: moč postane nevarnejša, ko se zmanjša možnost preverjanja, izstopa, ugovora in popravka.

Pri AI je zadnja meja posebej osebna. Noben model ne more namesto človeka prevzeti vesti iz »Slediti ukazu ali slediti vesti?« ali izbrisati odgovornosti iz »Ali avtoriteta odpravi osebno odgovornost?«. Lahko razširi naš pogled, lahko nas opozori na nekaj, kar smo spregledali, lahko celo pogosto presodi bolje od nas. Toda dokler odločitev vpliva na človeka, mora ostati jasno, kdo je avtor dejanja in kdo lahko odgovori nanj.

S tem se konča 9. stopnja — Varuj razpršeno moč. »Osebni audit odvisnosti: od česa je moje življenje dejansko odvisno?« začne zadnji, akcijski del te razvojne poti in vprašanje obrne neposredno k bralcu: od katerih sistemov, ljudi, virov in tehnologij je moje lastno življenje dejansko odvisno — in kje imam rezervno pot?