L’AI che scova similitudini tra opere d’arte: ecco l’algoritmo sviluppato dal MIT e Microsoft

I ricercatori del Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT in collaborazione con Microsoft hanno lavorato allo sviluppo di un nuovo algoritmo che si occupa di abbinare i dipinti presenti nel Metropolitan Museum of Art a quelli esposti presso il Rijksmuseum di Amsterdam sulla base di possibili connessioni stilistiche nascoste, che potrebbero non essere evidenti all’occhio dell’osservatore.

MosAIc, questo il nome dell’algoritmo, trae ispirazione dalla mostra “Rembrandt e Velazquez” del Rijksmuseum, basata sulla giustapposizione di quardi che potrebbero sembrare diversi ma che in realtà sono legati da un sottile elemento comune, per stile o interpretazione. Per esempio all’interno della mostra il San Serapio di Francisco de Zurbarán è esposto accanto al Cigno minacciato di Jan Asselijn poiché i due soggetti seppur profondamente diversi (un martire e un cigno, appunto) mostrano delle attinenze posturali.

Partendo da questo concetto, i ricercatori hanno sviluppato un algoritmo per trovare delle immagini partendo da una query di ricerca. Per esempio chiedendo al sistema”quale strumento musicale è più simile a questo dipinto di un vestito blu e bianco?” essi hanno scoperto un violino in porcellana bianca e blu, spunto che ha permesso loro di tratteggiare degli scambi culturali tra Olanda e Cina.

Da un certo punto di vista MosAIc è simile al progetto sperimentale X Degrees of Separation di Google, che mette in collegamento tra loro due immagini o due opere d’arte attraverso una serie di dipinti e altre opere d’arte. MosAIc tuttavia richiede solo un’immagine per trovare altri esempi stilistici simili. L’algoritmo cerca di trovare delle corrispondenze artistiche in culture differenti.

Mark Hamilton, principale autore della pubblicazione e studente del MIT, ha spiegato che la creazione dell’algoritmo è risultata essere piuttosto laboriosa dal momento che l’obiettivo dei ricercatori era quello di abbinare immagini attinenti non solamente per stile o colori, ma anche per significato e tema rappresentato.

Hamilton e i colleghi hanno quindi usato una muova struttura di dati di tipo K-Nearest Neighbor che pone immagini simili in una struttura ad albero e la percorre fino a individuare il risultato più vicino. Questo algoritmo è stato quindi applicato alle raccolte ad accesso libero dei due musei.

I ricercatori hanno inoltre scoperto che questo metodo può essere applicato per mettere in evidenza le limitazioni degli algoritmi deepfake basati su GAN (Generative Adversarial Network) e dove falliscono nel loro compito. Non è chiaro però se l’algoritmo, il cui funzionamento è dettagliato qui, possa essere capace di differenziare i deepfake dalle immagini genuine.