Tyrėjai nustatė, kad dirbtinio intelekto haliucinacijos gali sukelti robotų tinklų riziką

AI haliucinacijos paprastai laikomos neteisingų atsakymų problema. Tačiau nauji tyrimai rodo, kad jie gali tapti rimta grėsme saugumui.

Tyrėjai iš Tel Avivo universiteto, „Technion“ ir „Intuit“ paskelbė dokumentą „Saugokitės agentinių robotų tinklų: keičiamos nenumatytos skubios programinės įrangos atakos per universalų ir perkeliamą priešingą „HalluSquatting“. Jie parodo, kaip užpuolikai gali išnaudoti dirbtinio intelekto modelius, generuojančius netikras nuorodas į programinės įrangos saugyklas ar kitus internetinius išteklius.

Metodas vadinamas priešiškų haliucinacijų pritūpimu arba HalluSquatting. Tai veikia taip: užpuolikai numato, kokius netikrus išteklius gali sukurti AI modelis. Tada jie užregistruoja tuos vardus ir prideda kenksmingo turinio. Jei AI agentas vėliau bandys panaudoti vieną iš šių haliucinuotų išteklių, jis gali laikyti užpuoliko valdomą kodą ar nurodymus teisėtais.

Perėjimas prie agentinio AI

Grėsmė auga, nes AI padėjėjai ne tik atsako į klausimus. Dabar jie tiesiogiai bendrauja su kompiuteriais. Jie gali pasiekti failus, ieškoti internete, rašyti kodą ir vykdyti komandas. Tai daro juos galingus, bet taip pat sukuria saugumo spragas. Kai šie agentai veikia pagal informaciją, kurią jie gauna nepatikrindami, ar šaltinis yra tikras, jie gali būti apgauti.

„Didėjantis agentinių LLM programų pritaikymas sukėlė naują grėsmę, anksčiau pavadintą greitąja programine įranga“, – rašė mokslininkai. Jie pažymėjo, kad nors ankstesnėms atakoms reikėjo tiesioginių kanalų į AI, šis metodas veikia tik per internetą.

Realaus pasaulio testų rezultatai

Bandymų metu komanda nustatė, kad dirbtinio intelekto modeliai dideliu greičiu haliucinuoja išteklius. Pagal saugyklos klonavimo scenarijus šis rodiklis siekė iki 85%. Įgūdžių diegimo testuose jis buvo 100 proc. Jie išbandė techniką su populiariais kodavimo asistentais ir agentais, įskaitant „Cursor“, „GitHub Copilot“, „Gemini CLI“ ir „OpenClaw“.

Tyrėjai perspėja, kad tai gali būti panaudota kuriant AI palaikančius robotų tinklus. Botnetas yra užkrėstų kompiuterių arba įrenginių tinklas, nuotoliniu būdu valdomas užpuoliko. Jie dažnai naudojami atsisakymo teikti paslaugas atakoms, kriptovaliutų gavybai ar išpirkos programų kampanijose.

Panašus į Typosquatting, bet skirtas dirbtiniam intelektui

HalluSquatting yra panašus į typosquatting. Tai yra taktika, kai užpuolikai registruoja domenų pavadinimus, kurie atrodo kaip tikros svetainės arba programinės įrangos paketai, kad apgautų vartotojus, kurie rašo neteisingai. „HalluSquatting“ taikosi į AI modelių padarytas klaidas.

Tai ne vienintelis AI agento saugumo tyrimas. Balandžio mėnesį „Google“ tyrėjai parodė, kaip kenkėjiškos svetainės gali užgrobti AI agentus per netiesioginį greitą injekciją. Jie demonstravo atakas, kuriomis buvo pavogti slaptažodžiai, ištrinti failai ir manipuliuojama mokėjimais. Kitas „CopyPasta“ atakos tyrimas parodė, kaip paslėpti raginimai kūrėjo failuose gali priversti AI kodavimo asistentus skleisti kenkėjišką kodą.

Birželio mėnesį „OpenClaw“ vartotojas pranešė apie daugiau nei 6 000 užpuolikų bandymų apgauti AI agentą, kad jis nutekėtų neskelbtina informacija. Modelis yra aiškus: kai dirbtinio intelekto agentai įgyja daugiau sugebėjimų, jie taip pat tampa didesniais taikiniais. Tyrėjai teigia, kad kūrėjai turi būti atsargūs dėl to, kaip šie agentai tvarko išorinę informaciją.