CFD del raffreddamento a liquido nei data center: cosa deve catturare

Il server più caldo riceve meno refrigerante

Ecco un sistema di raffreddamento che manda più refrigerante ai server che ne hanno meno bisogno. Nessuno l’ha progettato così.

In un circuito bifase pompato, una piastra fredda molto caricata fa evaporare più fluido refrigerante, la sua perdita di carico cresce e il fluido si sposta verso le piastre che lavorano meno. In un modello di rack a 34 cassetti di Ozguc e colleghi, senza limitatori di portata, il cassetto peggiore raggiungeva un titolo di vapore previsto in uscita del 176%, che è il modo educato del modello di dire che la piastra si è asciugata.

I circuiti monofase si comportano meglio, ma meno di quanto suggeriscano i loro schemi. Un modello CFD di raffreddamento a liquido di un data center deve mostrare di quanto, e deve coprire tre scale: il flusso e la conduzione dentro una piastra fredda, la quota di refrigerante che ogni piastra riceve nel rack e l’aria che porta ancora una parte del calore nella sala. Questo articolo le esamina una per una, con i numeri che il settore confronta davvero (resistenza termica, portata per kilowatt, perdita di carico), con un bilancio energetico calcolato e con le scorciatoie di modellazione che fanno sembrare un modello migliore dell’hardware.

Quali numeri citano tutti?

Prima di qualsiasi mesh, impara i tre numeri su cui il tuo modello sarà giudicato e come è definito esattamente ciascuno. Due documenti dell’Open Compute Project sono le fonti pubbliche più chiare.

Portata per kilowatt. Le linee guida OCP per i sistemi di acceleratori raffreddati a liquido raccomandano un aumento di temperatura del refrigerante da 7,5 a 12 °C, che traducono in 1,25 a 2,0 litri al minuto per kilowatt per un refrigerante al 25% di glicole propilenico, detto PG25. Il loro obiettivo di progetto tipico è un aumento di 10 °C, cioè 1,5 L/min per kW. Un aumento maggiore migliora l’efficienza dell’impianto e riduce il margine di raffreddamento; uno minore fa l’opposto. Le stesse linee guida prevedono per ogni piastra fredda di acceleratore una portata da 1 a 2 L/min.

Resistenza termica. La specifica di prova OCP per le piastre fredde, in vigore dal 3 settembre 2026, la definisce così:

Si misura con la piastra fredda montata su un processore o su un veicolo di prova termico, con il materiale di interfaccia termica raccomandato. T_s è la temperatura del case, T_l la temperatura del fluido in ingresso e P la potenza applicata. Il fluido di prova è di solito a 45 ± 2 °C, e la prova si ripete a più portate per ottenere una curva.

Le linee guida per acceleratori usano la stessa forma case-ingresso e riportano per piastre fredde singole da 0,014 a 0,019 °C/W tra 1,5 e 3,5 L/min per piastra. Questi valori sono stati ricavati assumendo una distribuzione uniforme della portata, e il documento aggiunge che un refrigerante PG25 può costare fino al 15% di prestazioni rispetto all’acqua deionizzata.

Perdita di carico. La specifica la misura in un circuito di prova con tubi e innesti rapidi e sottrae una misura di tara senza la piastra fredda. Almeno sei portate tra il 25% e il 150% di quella nominale, compreso il 100%, vengono riportate come curva di interpolazione a due coefficienti. Una prova di portata separata arriva poco sotto 1,5 m/s per verificare erosione e perdite.

Nota il dettaglio di queste definizioni: quale temperatura, misurata dove, a quale temperatura di ingresso, con quale fluido, su quale intervallo di portata. Il tuo modello CFD deve riportare la stessa grandezza nello stesso modo. Altrimenti confronti due numeri che condividono solo un simbolo.

Un bilancio energetico calcolato

Esempio di calcolo. Partiamo dalla coppia di valori data dalle linee guida stesse: 1,5 L/min per kW producono un aumento di 10 K. Questa coppia fissa la capacità termica volumetrica del refrigerante, e con essa il calore che ogni litro al minuto può portare via.

Quindi ogni litro al minuto porta circa 67 W per kelvin di aumento. Ora usalo come controllo del modello. Se il tuo calcolo CFD dà un’uscita 12 K sopra l’ingresso a 1 kW e 1,5 L/min, il raffreddamento va bene ed è il bilancio termico a essere rotto. Da qualche parte si sta creando calore, oppure la portata non è quella che pensi. Correggilo prima di guardare anche una sola mappa a colori.

Con un ingresso a 40 °C e una resistenza di 0,017 °C/W, dentro l’intervallo pubblicato, la temperatura del case è:

Usa la scheda tecnica del refrigerante che stai davvero modellando. La concentrazione di glicole e la temperatura spostano questi numeri, e tutto ciò che segue cambia con loro.

Che cosa include in silenzio la resistenza termica

Una parte di quei 0,017 °C/W appartiene al refrigerante. Poiché R è riferita alla temperatura di ingresso, include il riscaldamento del refrigerante mentre attraversa la piastra. Nell’esempio sopra il refrigerante guadagna circa 10 K. Se la zona calda del chip si trova circa a metà del percorso del flusso, circa 5 K dei 17 K di differenza tra case e ingresso vengono dal riscaldamento del refrigerante stesso, quasi un terzo. È una stima grossolana con un’ipotesi semplice, e spiega una cosa che lascia perplessi in molti: a portata minore, parte dell’aumento di R è semplicemente il maggiore riscaldamento del refrigerante, con la convezione invariata.

Una definizione basata sulla differenza di temperatura media logaritmica separa i due effetti. Qualunque definizione tu preferisca, riporta quella usata dalla prova.

Dentro una piastra fredda: il flusso è laminare

Esempio di calcolo con geometria illustrativa. Prendi 1,5 L/min suddivisi su 100 canali paralleli larghi 0,3 mm e alti 2 mm, e le proprietà dell’acqua a 40 °C dalle tabelle standard, circa 992 kg/m³ e 0,65 mPa·s.

Una miscela con glicole è più viscosa dell’acqua, quindi il numero di Reynolds reale è ancora più basso. Qualche centinaio è laminare per qualsiasi criterio, e molti progetti a microcanali e mesocanali cadono nello stesso regime.

Quindi disattiva il modello di turbolenza nei canali, o almeno sappi che cosa ci sta facendo. Un modello di turbolenza alimentato con un’intensità turbolenta di ingresso predefinita può aggiungere una viscosità turbolenta che il flusso non ha, il che alza il coefficiente di scambio e fa sembrare la piastra migliore di quanto sia. Controlla il rapporto di viscosità turbolenta nei canali. Se non è vicino a zero, hai la tua risposta.

Dentro una piastra fredda: il flusso è ancora in sviluppo

Le lunghezze di ingresso laminari sono circa 0,05 Re D_h per il profilo di velocità e 0,05 Re Pr D_h per il profilo di temperatura. Il prodotto Re Pr è il numero di Péclet, V D_h ρc_p / k, che non dipende dalla viscosità; servono quindi solo la capacità termica volumetrica del bilancio energetico e una conducibilità termica di circa 0,6 W/(m·K).

Il profilo di velocità si stabilizza entro un centimetro, e ancora prima con il glicole più viscoso. Il profilo di temperatura è ancora in sviluppo su una lunghezza paragonabile all’intera piastra fredda, e una miscela con glicole, che conduce il calore peggio dell’acqua, la allunga. Un numero di Nusselt laminare pienamente sviluppato sottostima quindi lo scambio sulla maggior parte del canale. Un calcolo a mano e un modello CFD non saranno d’accordo, e quello a cui credere è il CFD se la mesh risolve lo strato limite termico. Le linee guida OCP fanno la stessa osservazione pratica: i progettisti usano la simulazione per studiare il profilo di temperatura lungo le alette e per evitare che il flusso nei canali diventi pienamente sviluppato.

Fai la mesh di conseguenza: diverse celle attraverso ogni canale e ogni aletta, e uno studio di mesh sulle due grandezze che contano, R e perdita di carico. Il metodo dell’indice di convergenza di griglia del nostro articolo sull’indipendenza dalla mesh funziona qui come ovunque.

La sorgente di calore non è un flusso piatto e uniforme

È la scorciatoia che vedo più spesso nei modelli di scambio termico coniugato dell’elettronica, e ogni volta lusinga la piastra fredda.

Un flusso termico uniforme sulla base della piastra fredda dà un campo di temperatura liscio e simmetrico e un picco piacevolmente basso. Un acceleratore reale ha zone calde, e il calore attraversa una pila di strati prima di arrivare alla piastra. Le linee guida OCP elencano gli elementi tra giunzione e refrigerante: la pila dei die, la prima interfaccia termica e il coperchio, la seconda interfaccia termica, la piastra fredda stessa e lo scambio laterale di calore tra vicini. Aggiungono che una grande parte dell’aumento di temperatura può nascere sulla superficie del package e al suo interno, e che in molti casi il limite di raffreddamento dipende più dal package che dalla soluzione di raffreddamento.

Quindi modella la pila: il coperchio e gli strati di interfaccia come solidi o come resistenze termiche sottili con valori presi da dati, una mappa di potenza del fornitore del chip se riesci ad averla, e la geometria del veicolo di prova termico se confronti con una prova. Dove non hai le resistenze di interfaccia o di contatto, di’ che sono ipotesi e fai un caso di sensibilità. Sono i due dati di ingresso che più facilmente spostano la risposta.

Attraverso il rack: chi riceve il refrigerante?

Le piastre fredde in parallelo si dividono la portata in base alla loro resistenza idraulica, e ogni collettore, tubo flessibile e innesto rapido dice la sua. Se la ripartizione è disuguale, la piastra che riceve meno portata si scalda di più, e nessun modello a piastra singola te lo dirà.

La stessa fisica spiega perché gli scambiatori di calore non raggiungono la loro potenza, come abbiamo visto nell’articolo sulla cattiva distribuzione del flusso negli scambiatori. I rack raffreddati a liquido sono, dal punto di vista termico, piccoli scambiatori di calore con tubi molto costosi.

In serie o in parallelo?

Le linee guida OCP per acceleratori confrontano due disposizioni per otto piastre fredde: quattro rami in parallelo con due piastre in serie ciascuno (4 × 2) e tutte e otto in parallelo (8 × 1). Secondo un modello a rete calibrato con dati di prova, a 10 L/min di glicole propilenico al 25%, il circuito 4 × 2 richiedeva circa 10 psi e quello 8 × 1 circa 7 psi. La disposizione 8 × 1 manteneva tutti i chip entro 1 °C l’uno dall’altro, contro 7 °C per la 4 × 2.

Esempio di calcolo. Perché 7 °C? Nella disposizione 4 × 2 a 10 L/min, ogni ramo porta 2,5 L/min. Supponiamo che ogni piastra dissipi 1 kW:

Il chip a valle riceve refrigerante circa 6 K più caldo di quello a monte prima di qualsiasi altro effetto, e la portata disuguale tra i rami fa il resto. La disposizione completamente in parallelo elimina il preriscaldamento e chiede al collettore di dividere la portata in modo uniforme tra otto piastre, ciascuna a portata minore, ed è proprio lì che le piastre fredde devono continuare a funzionare bene.

Modellare il circuito come una rete

Lo studio OCP mostra il metodo che raccomanderei per la maggior parte dei circuiti di rack. Usa la CFD su una piastra fredda in tutto il suo intervallo di portata per ottenere le curve di perdita di carico e di resistenza termica in funzione della portata. Inserisci queste curve in una rete idraulica monodimensionale dell’intero circuito: collettori, tubi, innesti e piastre. Calibra la rete su una prova del circuito, poi usala per esplorare disposizioni e punti di funzionamento.

Potresti fare la mesh di un intero circuito di rack con ogni aletta risolta. È possibile, è impressionante, e non è quasi mai il primo passo giusto. La rete risponde alla domanda sulla distribuzione in pochi secondi, e lo sforzo CFD va dove la fisica è difficile.

La trappola del bifase

Torniamo all’inizio. Nei circuiti bifase la perdita di carico di una piastra dipende dal suo carico termico, quindi la distribuzione cambia con il carico di lavoro. Ozguc e colleghi hanno usato un modello dei collettori con conservazione di massa, quantità di moto ed energia, un’ipotesi di flusso bifase omogeneo e curve di perdita di carico dei cassetti interpolate su 104 punti di prova, la maggior parte previsti entro il 25%. Il loro rimedio è un orifizio a monte di ogni piastra fredda, dimensionato in modo che la perdita di carico del limitatore sia dominante. Dimensionati correttamente, gli orifizi mantenevano ogni cassetto a un titolo di uscita dell’85% o meno. Sottodimensionati non correggevano la cattiva distribuzione; sovradimensionati sprecavano pressione.

La lezione per chi modella è che un rack bifase è un problema di rete idraulica con dati empirici molto prima di essere un problema di CFD. L’ebollizione nei canali delle piastre fredde è ancora un tema di ricerca per la CFD, ed è la rete, alimentata da dati misurati, che ha risolto questo caso.

Nella sala: l’aria conta ancora?

Sì. Il raffreddamento diretto sul chip copre di solito i componenti più caldi, e il resto del server resta raffreddato ad aria, quindi una parte del calore di ogni rack arriva comunque nella sala. Supponiamo, per l’esempio, che un quinto di un rack da 100 kW resti ad aria. Sono 20 kW di carico ad aria per rack, cioè quanto portava da solo un rack denso raffreddato ad aria.

Le linee guida OCP notano anche che le temperature del refrigerante più alte, da 40 a 45 °C sulla mandata secondaria, possono essere servite da apparecchiature ibride liquido-aria come scambiatori sulla porta posteriore o laterali. Questi restituiscono di proposito il calore all’aria della sala.

Quindi il modello della sala sopravvive. I rack diventano condizioni al contorno con una portata d’aria e un carico termico, porte posteriori e unità laterali diventano scambiatori di calore, e la domanda è quella nota del ricircolo e delle temperature di ingresso. Se hai già modellato il flusso d’aria in una sala, il metodo è lo stesso, con carichi ad aria per rack più piccoli di quanto dica la targa e meno margine di quanto chiunque vorrebbe.

Errori comuni, come appaiono sullo schermo

• Una temperatura di base liscia e simmetrica sotto un flusso termico uniforme. I chip reali hanno zone calde; il picco del modello è ottimista.
• Viscosità turbolenta non nulla in canali laminari. La piastra sembra migliore di quanto sia.
• Tutti i chip alla stessa temperatura in un modello di rack. Qualcuno ha assunto una portata uniforme. Anche i buoni rapporti di prova dichiarano questa ipotesi, quindi leggila.
• Una resistenza da scheda tecnica usata con un altro fluido o un’altra portata. Acqua deionizzata e PG25 differiscono fino al 15% nei dati OCP, e R dipende dalla portata.
• Una temperatura di uscita che non torna con P / (ρc_p V̇). Un problema di bilancio termico. Fermati e trovalo.
• Una resistenza CFD calcolata dalla temperatura media della base, confrontata con una prova che usa una termocoppia al centro del case. Due numeri diversi con un solo simbolo.
• Nessun modello della sala, perché il rack è «raffreddato a liquido».

Che cosa farei

Per un sistema monofase di raffreddamento diretto sul chip:

1. Una piastra fredda in dettaglio. Scambio termico coniugato, flusso laminare nei canali, la pila del package e una mappa di potenza realistica, calcolati a cinque o sei portate nell’intervallo della prova OCP, con uno studio di mesh su R e perdita di carico.
2. Un confronto con una prova della piastra, se esiste, con le stesse definizioni, lo stesso fluido e la stessa temperatura di ingresso.
3. Una rete idraulica del circuito, basata sulle curve CFD e calibrata su una prova del circuito dove possibile.
4. Un modello della sala con i rack come condizioni al contorno di calore e portata d’aria, compreso il carico residuo ad aria ed eventuali porte posteriori.

Questo cambia per i sistemi bifase, dove partirei dalla rete idraulica e da dati misurati sulle piastre, tenendo la CFD per le domande locali. Cambia ancora per il raffreddamento a immersione, dove la convezione naturale in una vasca definisce il problema e il modello è abbastanza diverso da meritare un articolo a sé.

In ogni caso parti dal tovagliolo: potenza, portata, aumento di temperatura e catena di resistenze. Se i numeri non tornano sul tovagliolo, nessuna mesh li farà tornare sullo schermo.

Se stai progettando o verificando un sistema raffreddato a liquido e vuoi che la piastra fredda o il circuito siano modellati con i controlli descritti sopra, la pagina sulla CFD degli scambiatori di calore descrive come affrontiamo questo tipo di lavoro di scambio termico coniugato, e le modalità di incarico dicono che cosa include uno studio.