RDMA over USB4, Microsoft mette insieme più PC in un cluster per l’intelligenza artificiale

Microsoft sta lavorando a un sistema per trasformare più PC Windows in un piccolo cluster dedicato all’intelligenza artificiale.

Si chiama RDMA over USB4 e permette di distribuire un singolo modello AI tra due o più computer, combinando la memoria disponibile e le risorse di calcolo delle rispettive GPU. L’obiettivo è eseguire localmente modelli open weight che, per dimensioni, non potrebbero essere caricati nella memoria di un normale PC.

La tecnologia arriverà prossimamente in anteprima per gli sviluppatori attraverso il canale Experimental (Future Platforms) del programma Windows Insider. Non servono schede di rete, switch dedicati o driver di terze parti: è sufficiente disporre di computer compatibili con USB4 e collegarli direttamente tramite cavi.

Il funzionamento si basa su Remote Direct Memory Access (RDMA), una tecnologia già utilizzata nei datacenter per trasferire dati direttamente tra le memorie di sistemi differenti, riducendo il coinvolgimento della CPU e gli interventi dello stack di rete tradizionale. Windows supporta da tempo RDMA attraverso l’interfaccia NetworkDirect, finora utilizzata principalmente con adattatori Ethernet e InfiniBand dedicati.

Microsoft ha realizzato un nuovo provider NetworkDirect per USB4, che permette alle applicazioni di utilizzare le API già esistenti senza dover conoscere i dettagli del collegamento fisico. Il sistema sfrutta i DMA ring del controller USB4 per gestire le operazioni di trasferimento.

La riduzione della latenza è particolarmente importante quando si utilizza il tensor parallelism, una tecnica che distribuisce il calcolo di un modello tra più dispositivi, richiedendo frequenti scambi di dati durante la generazione dei token. Nei test Microsoft, RDMA su USB4 ha raggiunto latenze di andata e ritorno comprese tra 28 e 50 microsecondi per i messaggi più piccoli, circa quattro volte inferiori rispetto a Ethernet UDP sullo stesso collegamento. La velocità nominale può arrivare a 40 o 80 Gbps.

I primi risultati mostrano le potenzialità della soluzione. Su tre mini-PC con processori AMD Ryzen AI Max, grafica Radeon 8060S e 128 GB di memoria unificata ciascuno, è stato eseguito Qwen3-235B-A22B, modello Mixture of Experts da 235 miliardi di parametri, con quantizzazione a 4 bit. AMD ha misurato 21,98 token al secondo in generazione e 117,98 token al secondo nell’elaborazione del prompt.

Intel ha invece testato GPT-OSS-120B su sistemi Core Ultra Series 3 con 64 GB di memoria ciascuno. Tre PC hanno raggiunto 49,4 token al secondo, mentre quattro hanno toccato 54,2 token al secondo con un contesto di 1.000 token.

Per realizzare un cluster servono almeno due PC Windows compatibili, porte USB4 da almeno 40 Gbps e un collegamento diretto tra ogni coppia di macchine. In un sistema composto da N computer, ogni PC necessita di N-1 porte USB4. Un cluster di tre PC richiede due porte su ciascun PC. Microsoft raccomanda inoltre una topologia full mesh, sconsigliando i collegamenti in cascata per le prestazioni inferiori.

La preview presenta ancora alcune limitazioni: richiede una modalità di test dei driver che impone la disattivazione temporanea di Secure Boot e non gestisce automaticamente il ripristino delle connessioni RDMA interrotte. Microsoft invita quindi a utilizzare macchine dedicate alle sperimentazioni.

Il provider NetworkDirect e il progetto dimostrativo basato su una versione modificata di llama.cpp sono già disponibili in open source. In prospettiva, l’azienda intende estendere il supporto ad altri produttori e integrare queste possibilità nell’ecosistema Windows, anche attraverso Windows ML e DirectX Compute Graph Compiler. 

Il tutto ricorda da vicino quanto offerto da NVIDIA con DGX Spark. Per quanto riguarda la scalabilità, il sistema NVIDIA DGX Spark offre diverse possibilità di collegamento. Due o tre unità possono essere connesse direttamente tramite cavi QSFP, senza ricorrere a uno switch, con una configurazione gestibile attraverso il Cluster Assistant dell’app NVIDIA Sync.

Per quattro sistemi è possibile utilizzare uno switch esterno da 200 GbE oppure una topologia ad anello (ring), soluzione adottata anche dal nuovo DGX Spark HPC Developer Kit, che mette a disposizione fino a 512 GB di memoria unificata per eseguire modelli con un massimo di 700 miliardi di parametri. Con una configurazione avanzata e interventi manuali è infine possibile collegare fino a otto sistemi, arrivando a un totale di 1 TB di memoria.