In un’azienda possono esserci agenti di IA dei quali il reparto IT ignora persino l’esistenza. Accedono a dati e applicazioni, eseguono operazioni e scelgono come portare a termine un lavoro. Chi si occupa di sicurezza deve riuscire a capire se stanno facendo ciò che è stato chiesto o se hanno preso una strada pericolosa. “È possibile che ci siano agenti in giro che fanno cose di cui le aziende non hanno minimamente idea”, afferma Luca Nilo Livrieri, Senior Director, Sales Engineering Southern Europe di CrowdStrike. Un agente può creare problemi anche mentre cerca di portare a termine il compito ricevuto. Il rischio dipende dall’obiettivo, dagli strumenti disponibili e dalla libertà che gli è stata concessa.
Secondo CrowdStrike, il rischio è così elevato che il CEO dell’azienda, George Kurtz, ha paragonato il pericolo rappresentato da agenti di IA non adeguatamente controllati ai gruppi di hacker legati agli Stati, agli hacktivisti e al crimine informatico più in generale. A preoccupare sono soprattutto le azioni che il software decide di compiere senza una regia umana.
Quali poteri concedere agli agenti
Il problema nasce da una caratteristica che rende gli agenti utili: la capacità di cambiare strada quando un tentativo non funziona. Per raggiungere il loro obiettivo, gli agenti di IA possono scegliere altri strumenti, riprovare un’operazione o cercare nuove risorse. E così uscire dal percorso immaginato da chi li ha progettati. “Se il compito di un agente era arrivare a un risultato, loro cercano una strada alternativa; è un’ottimizzazione del loro flusso, non un intento malevolo o una malizia dell’agente, ma il fatto che sono legati all’obiettivo”, spiega Livrieri.
Per questo il contenimento va costruito su più livelli. Le regole impartite al modello, i cosiddetti guardrail, devono accompagnarsi a limiti sugli accessi. Se l’agente può utilizzare credenziali che gli offrono ampia libertà, anche un errore nella scelta delle operazioni può avere conseguenze gravi. Una sandbox, l’ambiente isolato nel quale far eseguire il software, può ridurre il rischio, ma va configurata tenendo conto delle risorse e degli strumenti che l’agente può raggiungere. Perché, come abbiamo visto anche nel caso dell’attacco degli agenti di OpenAI a Hugging Face, non sempre le sandbox sono perfette, e in caso di vulnerabilità, gli agenti potrebbero sfruttarle per evadere dall’ambiente controllato.
CrowdStrike insiste soprattutto sull’importanza dell’identità: ogni agente deve essere riconoscibile e avere soltanto i permessi necessari al proprio lavoro, un po’ come nell’approccio zero trust alla sicurezza informatica. Un assistente incaricato di leggere una raccolta di documenti, per esempio, non ha bisogno delle autorizzazioni per modificarne il contenuto o amministrare il server che li ospita. Poi bisogna valutare l’intero ciclo di esecuzione che segue l’agente di IA, per comprendere se questo avvia processi, usa credenziali o tenta connessioni che richiedono un intervento.
Fra gli strumenti che Crowdstrike mette a disposizione delle imprese c’è Falcon Guardian, soluzione di AI Detection and Response che parte dall’inventario degli agenti su Windows e macOS: è in grado di distinguere fra gli agenti introdotti senza autorizzazione e quelli installati da persone autorizzate ma inattivi, fornendo anche informazioni su chi li ha distribuiti e sul loro stato di sicurezza. Falcon Guardian collega le istruzioni ricevute dall’agente alla sua identità, agli strumenti utilizzati e alle azioni eseguite sul dispositivo. Così facendo, i team IT possono ricostruire un comportamento sospetto e stabilire quali agenti autorizzare.
Superare un benchmark non significa saper fermare un attacco
La ricerca di scorciatoie si manifesta anche nei test usati per valutare l’IA. Quando l’obiettivo assegnato è ottenere il punteggio più alto, l’agente può cercare informazioni che lo aiutino a superare la prova senza affrontare davvero il problema. Alcuni sistemi, spiega Livrieri, consultano online i resoconti degli attacchi per trovare le risposte. “Invece di misurare una vera detection, l’agente vuole superare il benchmark nella valutazione”, spiega il manager.
Il fenomeno del benchmaxing, ovvero la tendenza a ottimizzare i modelli per ottenere punteggi elevati nei benchmark, interessa l’intero settore dell’IA. Il problema è che i test pubblici diventano meno significativi quando i modelli imparano a riconoscere le domande o conoscono già le risposte. Il rischio è quindi di sopravvalutare le capacità di un agente, che potrebbe ottenere ottimi risultati nei test ma rivelarsi molto meno efficace di fronte ad attacchi mai incontrati prima. Per valutare un sistema difensivo, insomma, bisogna osservare anche come lavora: quali dati esamina, come ricostruisce l’intrusione e quali interventi propone. Contano anche gli errori, il tempo impiegato e le risorse consumate.
Ed è proprio quello che CrowdStrike fa con SafeMind, progetto sviluppato con NVIDIA che mira ad affidare all’IA una parte del lavoro di attacco e difesa. È un sistema distinto da Guardian: quest’ultimo sorveglia gli agenti che operano nell’azienda, mentre SafeMind usa modelli specializzati per cercare debolezze e rafforzare la protezione.
I due modelli di IA principali integranti in SafeMind sono Red Tempest e Blue Solano, e hanno compiti ben differenti. Il primo, in ottica red team, cerca vulnerabilità e percorsi per entrare nei sistemi, riproducendo il lavoro di una squadra offensiva. Il secondo sviluppa e verifica le contromisure, come farebbe un blue team. Dopo l’intervento difensivo, il modello offensivo torna a tentare l’attacco. Il confronto continua, così da verificare se le correzioni funzionino e quali possibilità restino aperte.
SafeMind utilizza modelli basati sulla famiglia aperta NVIDIA Nemotron. Nell’addestramento entrano i dati raccolti dai sensori Falcon, le informazioni sugli avversari e l’esperienza maturata da CrowdStrike nella gestione degli incidenti. Su questa base nasce il servizio Frontier AI Readiness and Resilience di CrowdStrike, che sfruta modelli di IA avanzati per scovare, dare priorità e correggere rapidamente le vulnerabilità del codice prima che i cybercriminali possano sfruttarle.
Identità e librerie software: due accessi da sorvegliare
Secondo CrowdStrike, nei prossimi mesi si ridurrà ulteriormente il tempo che intercorre tra la scoperta di una vulnerabilità e il suo sfruttamento da parte degli attaccanti. Le aziende dovranno quindi essere più rapide nel rilevare e contrastare le minacce, prestando particolare attenzione a due aspetti: la gestione delle identità e la sicurezza dei componenti software utilizzati nello sviluppo delle applicazioni.
Sul fronte delle identità, una delle tecniche più pericolose è il vishing, una forma di phishing condotta per telefono. Gli attaccanti sfruttano l’ingegneria sociale per convincere le vittime a fornire credenziali, concedere accessi o autorizzare operazioni fraudolente, come un bonifico. Con la diffusione degli agenti di IA, il problema si estende anche alle identità non umane: i sistemi autonomi utilizzano credenziali e autorizzazioni per accedere a dati e applicazioni, che possono diventare un ulteriore bersaglio per i criminali informatici.
Un altro rischio riguarda la supply chain del software, soprattutto quando gli agenti di IA vengono impiegati per sviluppare codice. Per svolgere il proprio lavoro, un agente può scaricare librerie e pacchetti da registri pubblici e integrarli nelle applicazioni. Se uno di questi componenti contiene codice malevolo, può introdurre una minaccia nell’ambiente aziendale senza che sia necessario un attacco diretto ai sistemi.
Per limitare questo rischio, CrowdStrike ha esteso i controlli di sicurezza alle operazioni di download e installazione dei pacchetti software, comprese quelle effettuate attraverso strumenti come npm e pip. Il sensore Falcon può individuare i pacchetti riconosciuti come malevoli e bloccarli prima che vengano eseguiti gli script incorporati. La protezione non riguarda soltanto le postazioni degli sviluppatori, ma anche i dispositivi sui quali operano gli agenti di IA.
Con la diffusione degli agenti di IA, le aziende devono quindi estendere i controlli di sicurezza anche al software che agisce autonomamente, verificando non soltanto quali risorse può utilizzare, ma anche quali operazioni esegue per raggiungere gli obiettivi assegnati.