Ko resničnost postane sintetična

AI, boti in umetni mediji: kaj se zgodi, ko lahko ponaredimo ne le zgodbo, ampak tudi glas, obraz in avtorja?

Projekt: THY-REALITY / Mediji

Dolga desetletja je veljalo preprosto pravilo: fotografija je lahko izrezana, videoposnetek zmontiran, izjava vzeta iz konteksta in naslov napisan tako, da spremeni vtis. Toda nekje v ozadju je skoraj vedno obstajal izvirni dogodek. Nekdo je nekaj rekel. Kamera je nekaj posnela. Fotografija je nastala pred objektivom. Zloraba se je zgodila pri izboru, montaži, naslovu, kontekstu ali distribuciji.

Generativna umetna inteligenca je to mejo premaknila. Danes lahko izdelamo glas človeka, ki stavka nikoli ni izgovoril. Lahko ustvarimo fotografijo dogodka, ki se ni zgodil. Lahko izdelamo obraz človeka, ki ne obstaja, in mu dodamo biografijo, profil ter navidezno zgodovino objav. Lahko avtomatiziramo tisoče komentarjev, odgovorov in različic istega sporočila. Toda najnevarnejši sklep bi bil ravno tisti, ki se ponuja prvi:

da zato ničemur več ne moremo verjeti.

To bi bila kapitulacija. Pravi problem sintetičnih medijev ni, da je resnica izginila. Problem je, da je preverjanje postalo dražje, izdelava prepričljivega ponaredka cenejša, distribucija hitrejša, dvom pa je postal orožje tudi proti pristnim dokazom.

Deepfake je samo najbolj viden del problema

Ko govorimo o umetni inteligenci in medijih, skoraj avtomatično pomislimo na deepfake video. Obraz politika na telesu druge osebe. Usta, ki se premikajo dovolj prepričljivo. Glas, ki zveni skoraj pravilno. Toda sintetični medij je širša kategorija. NIST v svojem poročilu o tveganjih sintetičnih vsebin obravnava slike, zvok, video in besedilo, ki so bistveno ustvarjeni ali spremenjeni z algoritmi, vključno z generativno umetno inteligenco. Problem zato ni več samo vprašanje, ali je nekdo zamenjal obraz v videu. Lahko gre za umetno ustvarjen glas, ponarejeno fotografijo, izmišljeno osebo, avtomatizirani članek, množico navideznih komentatorjev ali kombinacijo vsega naštetega.

To spremeni osnovno ekonomiko manipulacije. Nekoč je bilo treba za prepričljiv ponaredek najti igralca, studio, montažerja, grafika ali vsaj nekoga z dovolj tehničnega znanja. Danes je velik del tega mogoče narediti hitreje, ceneje in v več jezikih. Toda tu moramo postaviti prvo pomembno zavoro.

Cenejša produkcija ni isto kot uspešna propaganda.

Vsebino je še vedno treba spraviti pred občinstvo. Nekdo jo mora objaviti. Nekdo jo mora deliti. Algoritem jo mora prikazati. Ljudje jo morajo opaziti. In če želi kampanja spremeniti vedenje ali mnenje, jo morajo ljudje tudi sprejeti. AI lahko poceni tovarno sporočil. Ne zagotavlja kupcev.

Bot ni mnenje — lahko pa pomaga ustvariti videz množice

Beseda bot se je v političnem internetu skoraj izgubila. Danes uporabniki z njo pogosto označujejo kogarkoli, ki piše preveč, ponavlja določeno stališče ali se z njimi preprosto ne strinja. »To so sami boti« je postalo priročno pojasnilo za neprijetno množico. Toda dejanski socialni boti obstajajo.

Gre za avtomatizirane ali delno avtomatizirane račune, ki lahko objavljajo, delijo, všečkajo, odgovarjajo, omenjajo druge uporabnike ali poskušajo posnemati običajno človeško aktivnost. Njihov učinek ni nujno v tem, da vsak posamezni bot nekoga osebno prepriča. Pomembnejše je nekaj drugega. Na družbenih omrežjih pogosto presojamo pomembnost informacije tudi po njenem družbenem okolju. Koliko ljudi jo deli? Koliko odgovorov ima? Ali je tema povsod? Ali vsi govorijo o njej?

Če je del tega signala umetno proizveden, lahko avtomatizacija spremeni vtis o tem, kaj je popularno, nujno ali splošno sprejeto. Velika raziskava, objavljena v Nature Communications, je analizirala milijone tvitov z povezavami do nizkokredibilnih virov. Avtorji so ugotovili, da so bili računi z značilnostmi botov nesorazmerno dejavni v zgodnjih fazah širjenja takšnih vsebin ter da so pogosto ciljali uporabnike z velikim številom sledilcev prek omemb in odgovorov.

Če lahko avtomatizirano omrežje dovolj hitro spravi določeno trditev pred vplivne uporabnike, medije ali resnične skupnosti, mu ni treba samo ustvariti občinstva. Dovolj je, da sproži ljudi. Toda iz tega ne sledi, da so boti glavni razlog za uspeh lažnih informacij.

Boti niso čarobna razlaga viralnosti

Druga velika raziskava, objavljena v reviji Science, je pri analizi širjenja resničnih in neresničnih novic na Twitterju ugotovila nekaj, kar je na prvi pogled skoraj v nasprotju s prejšnjo študijo. Lažne novice so se širile dlje, hitreje, globlje in širše od resničnih. Toda ko so raziskovalci analizirali avtomatizirane račune, so ugotovili, da so boti pospeševali širjenje resničnih in neresničnih novic približno enako. Razliko med resničnim in lažnim so bolj pojasnjevali ljudje. To ni dokaz, da boti niso pomembni.

Pomeni pa, da moramo biti natančni pri vprašanju, kaj sploh merimo. Ena raziskava je analizirala širok tok vsebin iz nizkokredibilnih virov in našla pomembno bot-amplifikacijo. Druga je analizirala preverjene resnične in lažne zgodbe ter pokazala, da sama avtomatizacija ne razloži, zakaj se laž širi bolj od resnice. Obe ugotovitvi lahko držita hkrati. Bot lahko potisne vsebino v tok. Lahko jo ponavlja. Lahko ustvari začetno vidnost. Lahko cilja vplivne račune.

Toda ko resnični ljudje začnejo deliti zgodbo zato, ker je nova, šokantna, jezna, politično uporabna ali skladna z njihovim prepričanjem, avtomatizacija ni več edini motor. To je pomembno tudi za propagando.

Če vse razložimo z boti, lahko spregledamo veliko bolj neprijetno dejstvo: ljudje pogosto prostovoljno širimo vsebino, ki nam daje čustveno ali identitetno nagrado.

Izvorni vir

Tudi »to so boti« je lahko propaganda

Obstaja še ena past. Če boti res obstajajo, lahko vsako neprijetno množico razglasimo za umetno. Raziskave zaznavanja botov kažejo, da ljudje njihovo prisotnost pogosto precenjujejo. Eksperimentalno delo, objavljeno v Scientific Reports, je pokazalo, da so udeleženci že pred izpostavitvijo pogosto precenjevali razširjenost botov, izpostavljenost botnim profilom pa je nekatere zaznave še povečala. To pomeni, da je sama ideja o botih lahko del informacijskega boja.

Če politična skupina verjame, da so skoraj vsi nasprotni komentarji avtomatizirani, začne dejanske ljudi obravnavati kot neavtentične. Ne preverja več argumentov. Preverja pripadnost. Zato je dokazni standard preprost:

računa ne imenuj bot samo zato, ker se obnaša čudno ali ker ti ni všeč, kar piše.

Za resno trditev o koordinirani avtomatizaciji potrebujemo tehnične, vedenjske, omrežne ali platformne dokaze.

Ko umetna oseba postane »novinar«

AI ne more izdelati samo novice. Lahko pomaga izdelati tudi navideznega človeka, ki jo objavlja. Meta je februarja 2022 opisala mrežo računov in spletnih strani, usmerjenih proti občinstvu v Ukrajini. Del operacije se je predstavljal kot neodvisne novičarske entitete, uporabljal lažne persone in profilne fotografije, ki so bile po Metini oceni verjetno ustvarjene z generativnimi nasprotniškimi mrežami (GAN). Nekatere lažne osebe so se predstavljale kot uredniki, strokovnjaki ali avtorji.

To je drugačna vrsta ponaredka kot deepfake video. Ne ponareja dogodka. Ponareja socialni kontekst informacije. Bralec ne vidi samo članka. Vidi domnevnega avtorja. Profilno fotografijo. Delovno mesto. opis. Morda celo mrežo drugih računov, ki z njim komunicirajo. S tem lahko umetna inteligenca pomaga ustvariti nekaj, kar je za propagando pogosto dragocenejše od posamezne slike: navidezno neodvisen vir.

Tudi tu je pomembna previdnost. Ta primer poznamo predvsem iz platformne preiskave Mete. To je dokumentiran vir o konkretni mreži, ni pa nevtralna statistika o celotnem informacijskem prostoru.

Izvorni virLicenca / pravna podlaga

Glas predsednika, ki ni bil njegov

Januarja 2024, dva dni pred predsedniškimi primarnimi volitvami v New Hampshiru, so potencialni volivci prejeli avtomatizirane telefonske klice. Glas je zvenel kot Joe Biden. Sporočilo jim je svetovalo, naj na primarnih volitvah ne glasujejo in naj svoj glas »prihranijo« za november. Glas ni bil Bidenov.

Bil je umetno ustvarjen. Primer je posebej uporaben, ker ne temelji samo na medijskih ugibanjih o tem, ali je bil posnetek resničen. Ameriška Federal Communications Commission je primer uradno preiskovala. Februarja 2024 je FCC tudi pojasnil, da omejitve ameriškega zakona glede »umetnega ali vnaprej posnetega glasu« zajemajo sodobne AI tehnologije za generiranje človeških glasov. Septembra istega leta je FCC političnemu svetovalcu Stevu Kramerju zaradi nezakonitih roboklicev z AI-generiranim kloniranim glasom in ponarejenim prikazom identitete klicatelja izrekel šest milijonov dolarjev kazni. To je konkreten dokaz, da sintetični politični medij ni hipotetična prihodnost.

Toda niti iz tega primera ne smemo narediti spektakla, ki presega dokaze. Primer dokazuje uporabo umetno kloniranega glasu za volilno dezinformacijo. Ne dokazuje, da je takšen klic spremenil izid volitev. To razliko mora resno novinarstvo ohraniti.

Izvorni virLicenca / pravna podlaga

Najgloblji problem deepfakea je lahko resnični posnetek

Ko je Bobby Chesney in Danielle Citron konec prejšnjega desetletja analizirala razvoj deepfake tehnologije, sta opozorila na problem, ki je danes še pomembnejši. Če postanejo prepričljivi ponaredki splošno znani, ne pridobijo moči samo lažnivci, ki izdelujejo ponaredke. Pridobijo jo tudi ljudje, ki so bili dejansko posneti. Zakaj?

Ker lahko resničen neugoden posnetek razglasijo za ponaredek. Temu sta avtorja rekla liar's dividend. V svetu, kjer lahko vsakdo reče »to je AI«, pristni dokaz ne izgubi nujno tehnične avtentičnosti. Izgubi del avtomatične politične moči. Novejše eksperimentalne raziskave kažejo, da ta učinek ni samo teoretičen. Študija, objavljena v American Political Science Review, je v več eksperimentih preverjala, kaj se zgodi, ko politik resničen škandal zavrne kot »misinformation« ali »deepfake«.

Takšne lažne obtožbe so lahko v določenih pogojih povečale podporo politiku. Toda tudi tu je nujna meja: učinek je bil izrazitejši pri besedilnih zgodbah in bistveno šibkejši pri videodokazih. Zato liar's dividend ne pomeni, da lahko vsakdo preprosto izbriše vsak dokaz z besedo »AI«. Pomeni pa, da je že samo okolje sintetičnih medijev ustvarilo nov obrambni argument za ljudi, ki želijo spodkopati neprijetne informacije.

Detektor ni sodnik resnice

Ko se pojavi sumljiv posnetek, je naravna reakcija:

»Dajmo ga v AI detector.« To je lahko uporaben korak. Ne sme pa biti zadnji. NIST v aktualnem tehničnem pregledu sintetičnih vsebin obravnava več različnih pristopov: detekcijo, watermarking, metadata in provenance, kriptografske podpise ter kombinacije teh metod.

Nobena od teh poti ni predstavljena kot univerzalno popolna rešitev. Detektorji so statistični sistemi. Lahko se zmotijo. Lahko delujejo bolje na enem tipu generatorja kot na drugem. Slika je lahko ponovno stisnjena, obrezana, fotografirana z zaslona ali drugače obdelana. Generativne tehnike se spreminjajo, detektor pa vedno lovi premikajočo se tarčo. Prav tako lahko resnična fotografija vsebuje napačen kontekst. Posnetek je lahko popolnoma avtentičen in kljub temu predstavljen kot posnetek drugega kraja, drugega datuma ali drugega dogodka.

Zato odgovor na vprašanje »ali je ta datoteka AI?« ni isto kot odgovor na vprašanje »ali je ta zgodba resnična?«

Content Credentials: sled izvora, ne certifikat resnice

Druga smer je provenance. Coalition for Content Provenance and Authenticity oziroma C2PA razvija odprti standard Content Credentials. Digitalni medij lahko z njim nosi kriptografsko preverljive podatke o svojem izvoru, podpisniku, nastanku in evidentiranih spremembah. Če fotografija nastane v napravi, ki ustvari ustrezen podpis, če se njene spremembe evidentirajo in če se ta veriga ohrani do objave, dobi občinstvo dodatno plast dokazov. Toda ravno C2PA sam poudarja mejo, ki jo javna razprava pogosto preskoči:

provenance ne pove, ali je vsebina resnična.

Veljavni Content Credentials lahko pomagajo preveriti podpisnika, povezavo manifesta z datoteko ter evidentirane podatke o nastanku in spremembah. Ne morejo sami povedati, ali je fotografirani dogodek insceniran, ali je priča lagala, ali je kader namerno izpustil bistvo ali ali je resničen posnetek uporabljen z napačnim opisom. Prav tako odsotnost Content Credentials ne pomeni, da je vsebina lažna.

Stari arhivski posnetek, fotografija iz poceni telefona ali dokument iz sistema, ki standarda ne podpira, lahko nima nobene takšne oznake in je vseeno popolnoma pristen. Če bi družba začela enačiti »brez credentiala« z »sumljivo«, bi rešitev ustvarila novo vrsto epistemološkega monopola.

Izvorni virLicenca / pravna podlaga

Umetna inteligenca in propaganda: revolucija ali samo cenejša proizvodnja?

Najbolj mamljiv naslov bi bil:

»AI je revolucioniral propagando.« Delno je res. Generativni sistemi lahko izdelujejo besedilo, prevode, slike, komentarje, biografije in različice istega sporočila pri hitrosti, ki je bila za človeško ekipo nedosegljiva. Toda realni podatki o zaznanih influence operations zahtevajo manj dramatično formulacijo.

Meta je v svojem poročilu o volilnem letu 2024 zapisala, da je pri prikritih vplivnih mrežah, ki jih je zaznala na svojih platformah, generativni AI prinesel predvsem inkrementalne izboljšave produktivnosti in generiranja vsebin. OpenAI je leta 2024 v več preiskavah opisal uporabo generativnih modelov za komentarje, članke, prevode, raziskovanje, lažne persone in navidezno angažiranost. Pri petih takrat opisanih operacijah po navedbah podjetja uporaba njegovih storitev ni prinesla pomembnega povečanja dosega ali angažiranosti občinstva.

Kasnejša poročila OpenAI in Google Threat Intelligence Group kažejo podoben vzorec: AI se vse bolj vključuje v stare operativne postopke, povečuje obseg in hitrost ter omogoča nove vrste vsebin. Google je septembra 2026 poročal, da pri informacijskih operacijah še vedno opaža predvsem produktivnostne dobitke in eksperimentiranje; pri takrat opazovanih taktikah ni zaznal prebojne sposobnosti, ki bi sama po sebi spremenila naravo vplivne operacije.

To je ključna protiutež celotnega članka.

AI znižuje stroške proizvodnje. Ne odpravlja problema distribucije, kredibilnosti, človeške napake in dejanskega vpliva.

Propaganda potrebuje več kot generator. Potrebuje kanal. Potrebuje občinstvo. Potrebuje kontekst, v katerem bo vsebina delovala. In pogosto še vedno potrebuje ljudi, ki jo bodo prostovoljno širili.

Evropski odgovor: označi sintetično

Evropska unija je na problem odgovorila tudi pravno. Člen 50 Akta o umetni inteligenci uvaja več zahtev transparentnosti. Za določene generativne sisteme morajo ponudniki zagotoviti strojno berljive oznake, ki omogočajo zaznavanje umetno ustvarjene ali manipulirane vsebine. Uporabniki oziroma deployerji določenih sistemov morajo pri deepfake slikah, zvoku ali videu razkriti, da je vsebina umetno ustvarjena ali manipulirana.

Poseben režim velja tudi za AI-generirano ali manipulirano besedilo, objavljeno z namenom obveščanja javnosti o zadevah javnega interesa. Pri tem zakon določa pomembno izjemo: ta obveznost razkritja ne velja, kadar je vsebina prestala postopek človeškega pregleda ali uredniškega nadzora in naravna ali pravna oseba prevzame uredniško odgovornost za objavo. Člen 50 se uporablja od 2. avgusta 2026. Za sisteme, ki so bili dani na trg pred tem datumom, velja glede tehničnega označevanja iz člena 50(2) omejeno prehodno obdobje: njihovi ponudniki morajo to obveznost izpolniti do 2. decembra 2026.

Pomembno je, da niti zakon ne obravnava vsake uporabe AI kot prevare. Obstajajo izjeme in posebnosti za umetniške, kreativne, satirične ter druge kontekste, pa tudi razlika med tehničnim strojno berljivim označevanjem in razkritjem, ki ga mora razumeti občinstvo. To je pravilna smer razmišljanja. Problem ni obstoj umetne vsebine. Problem je, ko umetna vsebina v kontekstu, kjer je pomembna njena avtentičnost, nastopa kot resnična brez ustreznega razkritja.

Ko bo vsak imel dokaz, ki mu ustreza

Najslabši možni izid sintetične revolucije ni svet, v katerem vsi verjamemo deepfakeom. Lahko je svet, v katerem vsak verjame samo tistemu posnetku, ki koristi njegovi strani, za vse druge pa reče:

»AI.« To bi bil popoln zaključek razvoja, ki smo ga spremljali skozi celotno serijo. Najprej medij izbira resničnost. Nato jo okvirja. Nato se zgodba ponavlja skozi navidezno neodvisne kanale. Nato platforma odloča, kaj bo vidno. In zdaj lahko umetna inteligenca pomaga izdelati tudi samo surovino, iz katere nastane zgodba. Toda odgovor ne more biti novi avtomatizem.

Ne moremo starega pravila »videl sem na videu, torej je res« zamenjati z novim pravilom »videl sem AI artefakt, torej nič ni res«. Potrebujemo strožjo dokazno kulturo. Kdo je prvotni vir?

Ali obstaja originalna datoteka?

Kdaj se je prvič pojavila?

Ali poznamo verigo nastanka in sprememb?

Ali se dogodek ujema z drugimi neodvisnimi podatki?

Ali provenance potrjuje izvor?

Ali imamo samo rezultat AI detectorja ali več različnih dokazov?

Ali nekdo trdi, da je posnetek lažen šele potem, ko mu je postal politično neprijeten?

In predvsem:

kaj lahko dejansko dokažemo?

Nova medijska pismenost je forenzična

Dolga leta je medijska pismenost pomenila predvsem vprašanja:

Kdo je lastnik medija?

Kdo je avtor?

Kakšen je naslov?

Kaj je bilo izpuščeno?

Kateri vir se citira?

V sintetičnem informacijskem okolju moramo dodati še novo plast. Ali ta oseba obstaja?

Ali je ta glas njen?

Ali je ta slika nastala v kameri?

Ali je bil video bistveno generiran ali spremenjen?

Ali obstaja provenance?

Ali je provenance popoln?

Ali je označba sintetičnosti odstranljiva?

Ali gre za en račun ali koordinirano mrežo?

Ali množica reakcij predstavlja množico ljudi?

To ne pomeni, da mora vsak bralec postati digitalni forenzik. Pomeni pa, da bo moral resen medij vedno pogosteje znati pojasniti, zakaj določenemu digitalnemu artefaktu verjame. Ne samo, da ga je preveril. Kako ga je preveril.

Največja nevarnost ni popoln ponaredek

Morda najbolj sofisticirana propaganda prihodnosti sploh ne bo potrebovala popolnega deepfakea. Dovolj bo množica dovolj dobrih vsebin. Nekaj umetnih slik. Nekaj resničnih posnetkov z napačnim kontekstom. Nekaj lažnih profilov. Nekaj avtomatiziranih računov. Nekaj resničnih ljudi, ki bodo vse to širili zato, ker želijo verjeti. In ko se pojavi pristni dokaz, bo nekdo rekel, da je tudi ta sintetičen.

Takšno okolje je veliko težje od sveta, v katerem obstajajo samo resnica na eni strani in lažni video na drugi. Problem postane upravljanje negotovosti. Tu se moramo vrniti k pravilu, ki velja skozi celotno serijo. Ne zaupaj oznaki. Ne zaupaj samo avtoriteti. Ne zaupaj samo sliki. Ne zaupaj samo detectorju. Preveri verigo dokazov. Kajti umetna inteligenca ni odpravila resničnosti. Samo bistveno je pocenila možnost, da ji nekdo izdela prepričljivo konkurenco.