NVIDIA Blackwell y Hopper de inquilino único, a la medida del modelo.

¿Qué es un servidor GPU?

Es un servidor cuyo trabajo lo hacen sobre todo los procesadores gráficos en vez de la CPU. Para IA significa uno o varios aceleradores de centro de datos —NVIDIA B200 o H200, o AMD Instinct— cada uno con decenas o cientos de gigabytes de memoria de alto ancho de banda, unidos entre sí por NVLink o Infinity Fabric y a otros nodos por una red rápida. El papel de la CPU pasa a ser alimentar las GPUs y mover datos, no hacer las cuentas.

La consecuencia práctica es que un servidor GPU se diseña al revés que uno normal: lo que importa no es el recuento de núcleos de la CPU sino la memoria de la GPU, el ancho de banda entre tarjetas y la red entre nodos. Una GPU es tan útil como la máquina que la alimenta, así que el resto de la página trata de eso: qué tarjeta, qué host, qué tejido, y cuándo conviene alquilar en vez de comprar.

¿Entrenamiento o inferencia? Qué cambia

Estresan partes distintas de la máquina, y confundirlos es como se tira el dinero. El entrenamiento estresa la interconexión: cuántas GPUs puedes hacer que se comporten como una. La inferencia estresa la memoria y el ancho de banda por euro, porque el trabajo es sostener un modelo y servir tokens barato. La precisión vive debajo de ambos: FP4 reduce a la mitad los bytes por parámetro frente a FP8, duplica el ancho de banda efectivo y deja que una sola tarjeta sirva un modelo que antes necesitaba dos.

En la práctica, un clúster de entrenamiento se compra alrededor de su tejido —cuántas GPUs puedes hacer que se comporten como una— mientras que una flota de inferencia se compra alrededor de la memoria y el ancho de banda por euro, porque el trabajo es sostener un modelo y servir tokens barato. Diseñamos el nodo para el lado de esa línea en el que de verdad vives, en vez de comprar un equipo de entrenamiento para inferir o dejar a un entrenamiento sin interconexión.

El dimensionado sale de ese reparto de forma concreta. Para entrenar inclinamos el nodo hacia la interconexión y el número de GPUs que escala limpio en tu framework; para inferir lo inclinamos hacia memoria por euro y ancho de banda, y nos apoyamos en FP4 donde el modelo lo tolera. El tamaño de lote, la longitud de secuencia y cuántos usuarios sirves a la vez fijan luego cuánto margen dejar. Nada de esto es exótico, pero acertarlo más o menos es la diferencia entre pagar por aceleradores que trabajan y pagar por unos que esperan.

De una tarjeta a un rack

Casi todo lo descrito se ensambla en unas pocas formas estándar, y cuál necesitas se sigue de la escala. Un solo acelerador vale para desarrollo e inferencia modesta; un nodo de ocho GPUs es el caballo de batalla para entrenamiento serio y servicio de alto rendimiento; y un rack completo une decenas de GPUs en un mismo tejido para los trabajos más grandes. Las unidades de abajo son con las que trabajamos.

• Una sola GPU — desarrollo e inferencia modesta. Una tarjeta sobre un host EPYC, lista en minutos.
• Nodo de 8 GPUs — el caballo de batalla: entrenamiento serio y servicio de alto rendimiento, todo-con-todo por NVLink.
• Rack completo — decenas de GPUs en un mismo tejido (InfiniBand / RoCE) para los trabajos más grandes.

El salto entre ellas es un escalón de coste, potencia y complejidad operativa cada vez, así que dimensionamos a la forma más pequeña que hace el trabajo. Un equipo que necesita cuarenta GPUs de entrenamiento durante unas semanas suele estar mejor servido por un nodo de ocho GPUs a tope, o por capacidad alquilada, que comprometiéndose a un rack que no mantendrá lleno.

¿Alquilar o comprar GPUs?

Es la pregunta que más nos hacen, y la respuesta honesta es que depende de con qué constancia las vas a usar. Alquilar gana cuando el trabajo es a ráfagas o exploratorio. El trabajo es a ráfagas o exploratorio, el proyecto es corto, o necesitas cómputo este mes mientras persisten los plazos del silicio nuevo. Comprar gana cuando el trabajo es estable. La utilización es sostenida y casi continua, la residencia o el aislamiento de datos importan, o el horizonte es de varios años donde el alquiler por hora se acumula.

Como regla práctica que manejan muchos responsables financieros: por debajo de unas 500 horas de entrenamiento al mes, alquilar casi siempre gana; por encima de forma consistente, conviene calcular el ROI de tener infraestructura propia o un contrato de reserva. Comprar un servidor solo ahorra con una utilización sostenida por encima del 60 % durante 18 a 24 meses, y los costes ocultos —energía, refrigeración, personal, instalación, depreciación— añaden un 40–60 % sobre el precio del hardware al año. En Europa, donde la electricidad es cara, ese coste energético pesa más en la balanza.

Dos cautelas mantienen la decisión honesta. La primera es la oferta: El mercado de alquiler de NVIDIA es mucho más profundo que el de compra, y para contratos cortos suele ganar también en precio; los neoclouds especializados cuestan menos de la mitad que los hiperescaladores. La segunda es la tentación de esperar a lo siguiente. Esperar a la próxima generación rara vez sale a cuenta: para cuando llega y escala, ya vas un ciclo por detrás. Mejor probar en hardware disponible y comprometerte cuando la utilización lo justifique. Juntas, el camino sobrio para la mayoría es empezar en hardware disponible y probado —a menudo Hopper—, validar la carga, y comprometerte a comprar capacidad solo cuando la utilización lo justifique. El modelo híbrido suele ganar: el hardware propio cubre el suelo, el alquilado cubre el techo.

Potencia, refrigeración e inquilino único

Los aceleradores más nuevos consumen 1000 vatios o más cada uno, y ocho de ellos en un chasis producen más calor del que el aire puede sacar de forma razonable. La refrigeración líquida absorbe esa carga térmica y deja que las GPUs mantengan sus frecuencias bajo trabajo sostenido; las tarjetas de generación Hopper, a 700 vatios, aún pueden ir por aire, que es una razón más para que a veces la H200 sea la elección más simple. En Europa, además, el coste de la electricidad convierte la eficiencia energética en parte de la ecuación de propiedad, no en un detalle.

El inquilino único es la otra mitad. El nodo entero es tuyo, sobre un host AMD EPYC de alta frecuencia, con las GPUs, el tejido NVLink y el NVMe local dedicados a tu carga y sin otro inquilino compartiendo la máquina. Recibes root, tu elección de pila CUDA o ROCm, y el aislamiento físico que suelen pedir la residencia de datos y el cumplimiento —en la región que elijas, sea España o Latinoamérica, sobre una red que enrutamos de extremo a extremo.