Cos'è NVLink? Come funziona, banda e utilizzi della GPU
2026-07-31 1245

I moderni sistemi multi-GPU dipendono da più che dalle sole prestazioni grezze della GPU. La velocità con cui i processori scambiano dati, accedono alla memoria e lavorano insieme può avere un effetto significativo sulla velocità complessiva. Questo articolo spiega la banda e le generazioni di NVLink, confronta NVLink con PCIe e NVSwitch, tratta l'accesso alla memoria GPU e NVLink-C2C, e mostra come NVLink è utilizzato in carichi di lavoro di AI e HPC. Aiuta anche a decidere quando NVLink può migliorare le prestazioni e quando PCIe potrebbe già essere sufficiente.

Catalogo

Cos'è NVLink?

NVLink è la tecnologia di interconnessione ad alta velocità di NVIDIA per trasferire dati tra GPU e altri processori nei sistemi di calcolo accelerato. Il suo scopo principale è ridurre i colli di bottiglia nella comunicazione quando diversi processori devono scambiare grandi quantità di dati mentre lavorano insieme.

Nei sistemi multi-processore, le prestazioni possono essere limitate da quanto rapidamente i dati si spostano tra i dispositivi. NVLink fornisce un percorso di comunicazione ad alta banda e bassa latenza che riduce i ritardi di trasferimento e aiuta i processori connessi a scambiare dati in modo più efficiente.

Come funziona NVLink?

Figura 2. Percorso di comunicazione GPU-to-GPU NVLink

NVLink crea un percorso di comunicazione ad alta velocità tra GPU compatibili. Quando due GPU devono scambiare dati, l'accesso peer-to-peer può consentire ai dati di muoversi direttamente tra i loro spazi di memoria anziché inviare ogni trasferimento attraverso la memoria della CPU.

NVLink supporta comunicazione bidirezionale, quindi i dati possono muoversi in entrambe le direzioni tra i processori connessi. Più connessioni NVLink possono anche lavorare insieme, fornendo un percorso più ampio per i trasferimenti di dati tra processori.

NVLink fornisce il percorso fisico per questa comunicazione, mentre il software decide come e quando viene utilizzato il percorso. CUDA, i driver di dispositivo, NCCL e l'applicazione gestiscono i trasferimenti. Quando l'accesso tra pari è supportato e abilitato, una GPU può leggere, scrivere o copiare dati nella memoria di un'altra GPU attraverso la connessione NVLink disponibile.

Generazioni e banda NVLink

La banda NVLink è aumentata con ciascuna architettura GPU NVIDIA di maggior importanza. La prima generazione di NVLink è apparsa con la Tesla P100 basata su Pascal, che supportava quattro connessioni NVLink e fino a 160 GB/s di banda bidirezionale totale per GPU. La Volta V100 ha aumentato questo a sei collegamenti e 300 GB/s per GPU.

La terza generazione di NVLink è arrivata con l'Ampere A100. L'A100 supporta 12 connessioni NVLink e fino a 600 GB/s di banda bidirezionale totale per GPU. La Hopper H100 ha aumentato il numero di collegamenti a 18, portando la banda della quarta generazione NVLink a 900 GB/s per GPU.

La quinta generazione di NVLink è arrivata con Blackwell, aumentando la banda bidirezionale totale a 1,8 TB/s per GPU. La sesta generazione di NVLink, associata alla piattaforma Rubin, aumenta il massimo a 36 collegamenti e fino a 3,6 TB/s per GPU.

NVLink Generazione	NVIDIA Architettura	Esempio GPU o Piattaforma	Massimo Link per GPU	Massimo Larghezza di banda bidirezionale per GPU
NVLink 1	Pascal	P100	4	160 GB/s
NVLink 2	Volta	V100	6	300 GB/s
NVLink 3	Ampere	A100	12	600 GB/s
NVLink 4	Hopper	H100	18	900 GB/s
NVLink 5	Blackwell	GPU Blackwell	18	1.8 TB/s
NVLink 6	Rubin	Piattaforma Rubin	36	3.6 TB/s

Larghezza di banda per link vs Larghezza di banda totale NVLink

La larghezza di banda per link e la larghezza di banda totale per GPU descrivono valori diversi. Una GPU può contenere più connessioni NVLink, quindi la larghezza di banda totale per GPU combina la larghezza di banda disponibile da tutti i link supportati.

Ad esempio, l'H100 ha 18 connessioni NVLink 4. Ogni link fornisce 50 GB/s di larghezza di banda bidirezionale, dando un massimo totale di 900 GB/s per GPU. Blackwell utilizza 18 connessioni NVLink 5 a 100 GB/s di larghezza di banda bidirezionale per link, producendo fino a 1.8 TB/s per GPU.

Queste cifre rappresentano la larghezza di banda massima dell'interfaccia. La larghezza di banda effettiva tra due GPU può essere inferiore a seconda del numero di link attivi tra di esse, della topologia del sistema e della configurazione hardware. Quando leggi le specifiche di NVLink, controlla sempre se il valore si riferisce a un link, una GPU o all'intera architettura NVLink.

NVLink vs PCIe vs NVSwitch

Figura 3. Confronto NVLink vs PCIe vs NVSwitch

NVLink, PCIe e NVSwitch trasferiscono dati all'interno dei sistemi GPU, ma hanno ruoli diversi. PCIe è un'interfaccia di uso generale che collega le GPU e altri dispositivi al sistema host. NVLink fornisce comunicazione ad alta velocità tra i processori NVIDIA supportati, mentre NVSwitch lavora con NVLink per collegare gruppi più grandi di GPU attraverso un'architettura di commutazione condivisa.

Caratteristica	NVLink	PCIe	NVSwitch
Cosa è	Interconnessione ad alta velocità per processori	Interfaccia di sistema di uso generale	Architettura di commutazione utilizzata con NVLink
Scopo principale	Comunicazione veloce tra GPU e processori supportati	Collegare GPU, SSD, NIC e altri dispositivi al sistema	Collegare molte GPU abilitate NVLink attraverso un'unica architettura
Comunicazione GPU-to-GPU	Fornisce comunicazione tra pari ad alta larghezza di banda	Supporta trasferimenti GPU-to-GPU, ma le prestazioni dipendono dalla topologia PCIe	Instrada il traffico NVLink tra più GPU
Percorso dati	Link diretti tra processori o connessioni tramite NVSwitch	Il traffico si muove attraverso i complessi radice PCIe e gli switch	Fornisce percorsi commutati tra GPU collegate tramite NVLink
Latency	Progettato per comunicazioni tra processori a bassa latenza	Adatto per I/O generali, ma i percorsi GPU-to-GPU possono comportare più infrastruttura di sistema	Aggiunge commutazione mantenendo le GPU collegate tramite percorsi NVLink ad alta velocità
Topologia	Link diretti punto-punto o link verso NVSwitch	Complessi radice CPU e switch PCIe	Architettura GPU commutata e fortemente connessa
Compatibilità	Richiede hardware NVIDIA supportato	Ampio supporto standard di settore	Richiede piattaforme NVIDIA NVLink supportate
Migliore per	Sistemi multi-GPU con alto traffico comunicativo	Sistemi single-GPU o carichi di lavoro con traffico GPU-to-GPU limitato	Grandi sistemi in cui molte GPU necessitano di comunicazioni frequenti
Principale limitazione	Limitato a hardware e piattaforme NVIDIA compatibili	Può diventare un collo di bottiglia in carichi di lavoro intensivi tra GPU	Aggiunge costi hardware e complessità di sistema

In termini semplici, PCIe collega i dispositivi al sistema, NVLink fornisce comunicazione ad alta velocità tra processori e NVSwitch espande NVLink su configurazioni GPU più grandi. NVSwitch non sostituisce NVLink perché dipende dalle connessioni NVLink per trasportare il traffico GPU.

PCIe potrebbe essere sufficiente quando la comunicazione GPU-to-GPU è limitata. NVLink diventa più utile quando le GPU scambiano frequentemente dati, mentre NVSwitch è principalmente utilizzato quando molte GPU abilitate NVLink necessitano di comunicazioni scalabili attraverso lo stesso sistema.

NVLink combina la memoria della GPU?

NVLink non combina automaticamente la VRAM di più GPU in un'unica memoria fisica più grande. Due GPU con 80 GB di memoria ciascuna hanno ancora spazi di memoria separati da 80 GB invece di diventare un'unica GPU con 160 GB di VRAM locale.

Quando l'hardware e la topologia lo supportano, l'accesso alla memoria peer-to-peer di CUDA consente a una GPU di accedere alla memoria di un'altra GPU. Una GPU può leggere, scrivere o copiare dati in memoria peer senza prima spostare i dati nella memoria della CPU. NVLink fornisce una via ad alta larghezza di banda per questi trasferimenti quando le GPU sono collegate tramite di esso.

La memoria GPU remota, tuttavia, rimane fisicamente collegata a un'altra GPU. Il software decide ancora dove vengono memorizzati i dati, quale GPU li accede e se i dati debbano essere copiati o accessibili da remoto. La memoria unificata CUDA può semplificare l'accesso alla memoria tra i dispositivi, ma non rimuove la separazione fisica tra la memoria della GPU.

Per questo motivo, il posizionamento della memoria è ancora importante nei sistemi multi-GPU. L'accesso frequente alla memoria GPU remota può influenzare le prestazioni anche quando NVLink fornisce una connessione più veloce.

Come NVLink-C2C estende NVLink a collegamenti chip-to-chip

Figura 4. Collegamento NVLink-C2C tra CPU e GPU

NVLink-C2C estende NVIDIA NVLink dalle connessioni dei processori a livello di scheda a collegamenti brevi chip-to-chip all'interno di un pacchetto o superchip. Può collegare CPU, GPU e altri chip del processore compatibili, consentendo loro di scambiarsi dati attraverso una connessione strettamente integrata.

Su piattaforme NVLink-C2C coerenti supportate, i processori connessi possono anche mantenere una visione consistente della memoria. Ad esempio, Grace Hopper utilizza NVLink-C2C tra la CPU Grace e la GPU Hopper, consentendo a entrambi i processori di accedere alla memoria attraverso la connessione mentre la loro memoria fisica rimane separata.

La principale differenza è dove ciascuna tecnologia viene utilizzata. Il NVLink standard collega comunemente GPU separate o collega le GPU a NVSwitch a livello di scheda o di sistema. NVLink-C2C avvicina lo stesso concetto di interconnessione ad alta velocità ai processori stessi, rendendolo adatto per collegamenti CPU-GPU, CPU-CPU e altri collegamenti chip-to-chip strettamente integrati.

NVLink per AI e carichi di lavoro multi-GPU

NVLink è più utile quando diverse GPU lavorano sullo stesso carico di lavoro e devono scambiare dati frequentemente. In questi sistemi, le prestazioni dipendono non solo dalla velocità di calcolo GPU ma anche dalla rapidità con cui i dati si spostano tra acceleratori.

Durante l'addestramento AI, le GPU possono scambiare gradienti, parametri, attivazioni e risultati intermedi. NVIDIA NCCL gestisce molti di questi trasferimenti attraverso operazioni come AllReduce, AllGather, ReduceScatter, Broadcast e comunicazione punto a punto.

Il parallelismo dei tensori crea comunicazioni frequenti perché parti dello stesso calcolo vengono eseguite su diverse GPU e i risultati parziali devono essere scambiati prima che l'elaborazione possa continuare. Il parallelismo di modello sposta anche i dati tra le GPU mentre diverse parti del modello vengono elaborate.

L'inferenza multi-GPU LLM ha requisiti simili quando un grande modello è suddiviso su più GPU. Se una GPU deve aspettare dati da un'altra, i ritardi di comunicazione possono ridurre il throughput complessivo.

I carichi di lavoro HPC come la simulazione scientifica, la dinamica dei fluidi computazionali e la modellazione molecolare scambiano anche dati di confine, risultati parziali e informazioni di sincronizzazione tra le GPU. Trasferimenti più rapidi tra GPU possono ridurre questo tempo di attesa e aiutare il carico di lavoro a funzionare in modo più efficiente.

Per carichi di lavoro ad alta comunicazione, NVLink può ridurre il tempo che le GPU trascorrono a scambiare dati e aiutare i sistemi multi-GPU a scalare in modo più efficiente.

Quando hai bisogno di NVLink?

NVLink è una buona soluzione quando diverse GPU lavorano sullo stesso compito e scambiano dati frequentemente. Può essere utile quando la comunicazione GPU-GPU rallenta il carico di lavoro e il sistema supporta NVLink.

NVLink è una scelta migliore quando:

• Diverse GPU lavorano insieme su un carico di lavoro

• Grandi quantità di dati si spostano tra GPU

• La comunicazione GPU limita le prestazioni

• Le GPU e la piattaforma supportano NVLink

• Il software può sfruttare la comunicazione multi-GPU

PCIe potrebbe essere sufficiente quando:

• Il sistema utilizza solo una GPU

• Più GPU gestiscono compiti separati

• Il traffico GPU-GPU è basso

• PCIe soddisfa già le prestazioni richieste

• Il costo inferiore e il supporto hardware più ampio sono più importanti

Anche il costo e la progettazione del sistema sono importanti. I sistemi compatibili con NVLink possono richiedere GPU supportate, la giusta topologia di sistema, switching aggiuntivo e più potenza e raffreddamento in configurazioni più grandi.

In generale, NVLink è più utile quando la comunicazione tra le GPU è un chiaro limite di prestazione. Se le GPU scambiano raramente dati o se PCIe già fornisce sufficiente larghezza di banda, NVLink potrebbe aggiungere costo e complessità senza un chiaro guadagno nelle prestazioni.