Startup-ul de inteligență artificială generativă Ask Sage a anunțat recent că și-a implementat software-ul genAI în cloud-ul securizat al Armatei, cArmy. Comunicatul de presă a evidențiat o serie de procese pe care noua tehnologie le-ar putea automatiza, cum ar fi dezvoltarea software-ului, testarea cibersecurității și chiar unele părți ale sistemului de achiziții federale — „inclusiv redactarea și generarea RFIs (Request For Information), RFPs (Request For Proposal), definirea cerințelor, selecția ofertanților și multe altele.”

Această ultimă listă de sarcini ar putea fi una dintre cele mai delicate pe care Departamentul Apărării le-a solicitat algoritmilor în contextul explorării sale ambivalente, de un an de zile, a ceea ce se cheamă genAI. Este, de asemenea, un domeniu în care atât Ask Sage, cât și Armata au declarat pentru Breaking Defense că vor monitoriza cu atenție eficiența mai multor straturi de măsuri de siguranță integrate.

Automatizarea achizițiilor reprezintă o provocare ambițioasă și riscantă. Contestațiile din partea ofertanților care pierd sunt atât de comune, încât managerii de program adesea includ un tampon de trei luni în programele lor pentru a face față unei „opriri de lucru” în timp ce GAO (Oficiul de Audit General) investighează. Defectele în documentele oficiale — precum „RFIs, RFPs, cerințele de muncă și cerințele” menționate în comunicatul Ask Sage — pot duce la bătălii legale, care perturbă un program. Experimentele timpurii cu utilizarea genAI în domeniul juridic au fost mai puțin decât de succes, cu mai mulți avocați confruntându-se cu sancțiuni după ce au utilizat ChatGPT și software similar pentru cercetarea juridică doar pentru a constata că acesta a „halucinat” precedente plauzibile, dar complet fictive.

Primul și ultimul linie de apărare, au declarat oficialii Ask Sage și Armata, este utilizatorul uman al tehnologiei. Totuși, există și protecții algoritmice „sub capotă” ale software-ului. În loc să consulte un singur Model de Limbaj Mare (LLM), așa cum face ChatGPT, Ask Sage folosește mai multe programe — nu toate fiind genAI — ca mecanisme de verificare și echilibrare pentru a identifica și corecta greșelile înainte ca un om să le observe.

„Toate contractele vor trece în continuare prin procesul nostru legal și oamenii vor rămâne în circuit,” a declarat Armata, într-o declarație din partea biroului CIO al serviciului către Breaking Defense, după anunțul Ask Sage de săptămâna trecută. „Explorăm modalități de utilizare a LLM-urilor pentru a optimiza limbajul din contracte, deoarece LLM-urile pot analiza cantități uriașe de date contractuale și pot înțelege cerințele de conformitate cu cadrele legale complexe. Acest lucru reduce munca intensivă umană necesară pentru a cerceta și genera limbajul și, în schimb, folosește LLM-urile pentru a obține rapid o soluție inițială; apoi oamenii colaborează cu LLM-urile pentru a rafina ieșirea. … Sarcina umană se poate concentra, astfel, pe aplicarea gândirii critice.”

Principiul vechi al controlului armelor „încrede-te, dar verifică” se aplică, a declarat Nicolas Chaillan, fostul ofițer principal de software al Forțelor Aeriene, care a părăsit serviciul din cauza birocrației în 2021 și a fondat Ask Sage anul trecut dintr-o entuziasm pentru genAI. „Este întotdeauna revizuit de un om,” a declarat el pentru Breaking Defense într-un interviu. „Omul va citi tot documentul.” Dar oricine a dat vreodată „Okay” fără a citi pagini întregi de politici de confidențialitate și acorduri utilizatori știe foarte bine că oamenii nu citesc, de fapt, întotdeauna totul.