Războiul informațional nu se poartă doar cu imagini false

Pentagonul își îmbunătățește capacitatea de a identifica deepfake-uri, prin programe de cercetare, contracte pentru dezvoltarea unor soluții experimentale și o serie tot mai amplă de instrumente de detecție.

Toate aceste inițiative pornesc însă de la aceeași premisă: dezinformarea ar fi, în primul rând, o problemă de identificare a conținutului fals.

Premisa este incompletă. Deepfake-urile reprezintă, într-adevăr, o amenințare, dar pericolul real nu se află doar în imaginile, videoclipurile sau înregistrările audio fabricate. El poate fi ascuns mult mai devreme, în etapa în care sunt antrenate modelele de inteligență artificială folosite ulterior de analiști, structuri de informații și factori de decizie.

Otrăvirea datelor de antrenament, vulnerabilitatea ignorată

Instrumentele finanțate de Departamentul american al Apărării sunt proiectate în special pentru o situație în care adversarii creează materiale false și încearcă să le prezinte drept autentice.

Aceasta este forma vizibilă și relativ ușor de înțeles a problemei. Varianta mai dificilă apare înainte ca falsul să fie generat: atunci când un actor ostil introduce în seturile de date materiale manipulate, propagandistice sau deliberat înșelătoare.

În acest fel, modelele de inteligență artificială pot fi învățate să favorizeze anumite narațiuni, să minimalizeze unele conflicte, să omită informații sensibile sau să prezinte drept neutre poziții promovate de un stat advers.

Odată ce aceste influențe sunt integrate în structura internă a modelului, ele nu mai apar neapărat sub forma unor erori evidente. Răspunsurile pot părea coerente, documentate și obiective, deși sunt influențate de date compromise.

Dovezi privind infiltrarea propagandei în modelele AI

Cercetători civili au documentat în mod repetat existența unor materiale manipulative în datele utilizate pentru antrenarea modelelor de inteligență artificială.

Analize realizate asupra unor arhive publice ale internetului au identificat conținut provenit din rețele de propagandă favorabile Kremlinului, din operațiuni de influență asociate autorităților chineze și din surse media controlate de stat.

Unele dintre aceste materiale au ajuns direct în seturi de date folosite la dezvoltarea modelelor AI. Într-un caz, un model cu ponderi deschise a reprodus aproape cuvânt cu cuvânt conținutul propagandistic atunci când a fost solicitat să ofere un răspuns relevant.

Problema nu se limitează la o anumită țară sau regiune. Orice spațiu informațional în care accesul la date este controlat, presa este restricționată sau anumite imagini și relatări sunt eliminate poate influența ceea ce modelele ajung să considere „realitate”.

Cenzura și controlul informației modifică imaginea lumii

În Orientul Mijlociu, controlul informațiilor este exercitat de mai mulți actori. Iranul utilizează de ani de zile campanii de dezinformare, inclusiv materiale generate cu ajutorul inteligenței artificiale.

În același timp, și aliații Statelor Unite din regiune limitează accesul la informații. Accesul jurnaliștilor în Gaza este restricționat, iar relatările presei care operează în anumite zone sunt supuse unor limitări.

Statele din Golf au controlat strict informațiile privind atacurile cu rachete iraniene desfășurate pe teritoriul lor. Chiar și autoritățile americane au făcut presiuni asupra unor companii care furnizează imagini din satelit pentru a limita materialele publicate, iar unele dintre aceste companii au acceptat.

Fiecare astfel de restricție contribuie la deformarea bazei de date din care modelele AI învață să interpreteze evenimentele internaționale.

Un număr redus de documente poate compromite un model

Un studiu realizat de cercetători britanici și americani a indicat cât de vulnerabile pot fi modelele de inteligență artificială la contaminarea datelor.

Potrivit concluziilor, introducerea a doar câteva sute de documente malițioase ar putea fi suficientă pentru a influența un model de dimensiuni mari.

După ce informațiile compromise sunt integrate în „ponderile” modelului, remedierea problemei necesită, de regulă, o reantrenare completă. Procesul este extrem de costisitor, durează și, în multe cazuri, nu este realizat.

Astfel, adversarii nu mai încearcă doar să păcălească sistemul cu un material fals. Ei pot interveni asupra modului în care sistemul învață să distingă adevărul de minciună.

Detectoarele de deepfake nu pot identifica o narațiune manipulată

Instrumentele de detecție sunt capabile să semnaleze imagini, materiale video sau înregistrări audio generate artificial după ce acestea au fost create.

Ele nu pot însă identifica un model care a fost antrenat să ofere o interpretare favorabilă unei anumite puteri sau să evite anumite realități.

Dacă un analist militar solicită unui asistent AI o sinteză privind situația din Marea Chinei de Sud sau o interpretare a unor imagini satelitare din Orientul Mijlociu, răspunsul poate fi deja influențat de o operațiune de manipulare a datelor.

Într-un asemenea caz, nu există neapărat un deepfake care să poată fi detectat. Problema este răspunsul produs de un sistem care a fost învățat, în mod discret, să privească realitatea printr-un filtru construit de adversar.

Proveniența datelor trebuie să devină o condiție obligatorie

Pentru modelele utilizate în domeniul apărării și al informațiilor, trasabilitatea datelor de antrenament ar trebui să fie o cerință fundamentală.

Dacă nu poate fi verificat conținutul pe baza căruia un model a învățat, rezultatele sale nu ar trebui tratate ca fiind de încredere în situații în care acuratețea este esențială.

Planurile Pentagonului de a explora antrenarea modelelor pe date clasificate pot reprezenta un pas important, însă ele vizează în principal sistemele dezvoltate pentru uz guvernamental. O mare parte din ecosistemul tehnologic folosit efectiv de analiști rămâne, deocamdată, insuficient protejată.

Un model orientat de la început către verificarea originii datelor ar putea limita semnificativ riscul ca informațiile compromise să fie integrate în procesele de analiză.

Testele de securitate trebuie să urmărească și influența ascunsă

Evaluările actuale verifică, de regulă, dacă un model produce conținut periculos, discriminatoriu sau părtinitor atunci când primește anumite instrucțiuni.

Aceste teste nu arată însă dacă modelul a fost deja influențat de date de antrenament introduse intenționat de un adversar.

Exercițiile de tip „red team” trebuie să includă și această dimensiune: identificarea narațiunilor implantate, a omisiunilor sistematice și a schimbărilor de comportament produse de contaminarea datelor.

Prima linie de apărare este conștientizarea riscului

Cea mai urgentă măsură este informarea personalului care utilizează aceste tehnologii.

Mulți profesioniști din domeniul apărării nu știu că otrăvirea datelor de antrenament este posibilă. Și mai puțini sunt conștienți că fenomenul a fost deja documentat.

Această lipsă de cunoaștere devine, la rândul său, o vulnerabilitate operațională. Un sistem poate avea cele mai moderne filtre pentru depistarea imaginilor false, dar poate rămâne expus dacă nimeni nu verifică modul în care a fost învățat să interpreteze informațiile.

Miza reală: ce sunt învățate să creadă mașinile

Lupta împotriva dezinformării nu se rezumă la întrebarea dacă un material este autentic sau fabricat.

Întrebarea esențială este ce li se transmite, în mod deliberat și invizibil, sistemelor pe care oamenii se bazează pentru a face această diferență.

Deepfake-ul poate fi doar produsul final. Amenințarea strategică începe atunci când adversarul reușește să influențeze chiar mecanismul care stabilește ce trebuie considerat adevărat.