Venerdì scorso, al DEF CON di Las Vegas, Bill Swearingen ha coperto una Toyota Yaris del 2009 con un disegno generato al computer e ha verificato se una telecamera Flock riuscisse ancora a rilevare il veicolo. Non ci è riuscita. È la prima prova su strada di noRecognition, un progetto che produce pattern adversarial destinati a confondere i sistemi di rilevamento automatico che equipaggiano le telecamere di sorveglianza.
I disegni non impediscono alle telecamere di registrare e agiscono invece sullo strato successivo, quello che interpreta le immagini neutralizzando la capacità del sistema di stabilire che in un fotogramma ci sono una persona, un veicolo o un volto, e quindi di far scattare un avviso di rilevamento. Il soggetto ripreso torna a essere un ago nel pagliaio, individuabile solo da chi sa già dove cercare.
Un modello a cui è stato insegnato a “dipingere”
Swearingen, professionista della sicurezza informatica e co-fondatore del gruppo SecKC a Kansas City, ha mosso i primi passi di questo progetto circa un anno fa, con un sistema capace di sconfiggere in modo incrementale un algoritmo di rilevamento open source dopo l’altro. Il banco di prova si è poi evoluto in un sistema di reinforcement learning: il modello genera un disegno, verifica se l’algoritmo lo individua e, in caso affermativo, riprova.
Il conteggio è di 31,7 milioni di test e 5,7 milioni di risultati etichettati in un anno di lavoro. I disegni sono stati misurati contro undici modelli di rilevamento, fra cui quelli che alimentano i lettori di targhe Flock, le body camera Axon e le telecamere che girano con Clearview AI. Secondo Swearingen il modello ora sforna nuovi disegni ogni minuto, con ciascun lotto matematicamente migliore del precedente.
La prova su strada al DEF CON è stata realizzata con la collaborazione di Donut Media, che pubblicherà il video nelle prossime settimane. Swearingen ha dichiarato che il test ha funzionato, con una riserva: le ruote sono rimaste un problema.
Il metodo è pubblico, i disegni no
Un disegno, per essere considerato valido, deve battere un pannello uniforme delle stesse dimensioni: il criterio serve a escludere il risultato banale, cioè la stampa così grande da coprire fisicamente il soggetto. Il punteggio viene poi calcolato su trenta persone che non erano state usate per costruire il disegno, e noRecognition dichiara di pubblicare anche i risultati sfavorevoli. È il punto su cui il progetto si distingue dal resto dell’abbigliamento anti-sorveglianza, che secondo la sua stessa presentazione quasi mai pubblica un risultato di prova.
Swearingen ha raccontato di aver voluto partecipare a una manifestazione l’anno scorso e di essersi sentito a disagio all’idea che le telecamere della sua città, a volte installate a pochi metri l’una dall’altra, potessero tracciare chi esercitava un diritto costituzionale. Si è descritto come un uomo bianco di mezza età del centro degli Stati Uniti, che non ha subito discriminazioni per il proprio aspetto, e ha osservato che chi le subisce ha ragioni più solide delle sue per non sentirsi al sicuro. “La privacy è un diritto fondamentale”, ha detto, presentando i disegni come un modo per sottrarsi al tracciamento.
Il progetto ha aperto una campagna su Kickstarter per finanziare i primi capi: magliette, felpe e scaldacollo, con l’ipotesi di pellicole per veicoli più avanti. Ogni fascia è limitata a cinquanta pezzi prodotti su ordinazione e comprende un livello in cui il disegno viene generato univocamente per una singola persona e non viene mai stampato per nessun altro. La logica è dichiarata apertamente: se i produttori di telecamere un giorno addestrassero i loro modelli contro le stampe pubbliche, quel disegno non sarebbe nel loro insieme di dati.
Per la stessa ragione i disegni più efficaci restano fuori da internet, e il lavoro non è finito: i modelli continuano a macinare varianti. “Ogni fallimento migliora il mio modello, e quindi i disegni continuano a migliorare”, ha detto Swearingen.