NVIDIA Blackwell e Hopper de inquilino único, sob medida do modelo.

O que é um servidor GPU?

É um servidor cujo trabalho é feito sobretudo pelos processadores gráficos em vez da CPU. Para IA significa um ou vários aceleradores de datacenter —NVIDIA B200 ou H200, ou AMD Instinct— cada um com dezenas ou centenas de gigabytes de memória de alta banda, ligados entre si por NVLink ou Infinity Fabric e a outros nós por uma rede rápida. O papel da CPU passa a ser alimentar as GPUs e mover dados, não fazer as contas.

A consequência prática é que um servidor GPU se projeta ao contrário de um normal: o que importa não é a contagem de núcleos da CPU, mas a memória da GPU, a banda entre placas e a rede entre nós. Uma GPU é tão útil quanto a máquina que a alimenta, então o resto da página trata disso: qual placa, qual host, qual fabric, e quando vale alugar em vez de comprar.

Treinamento ou inferência? O que muda

Eles estressam partes diferentes da máquina, e confundi-los é como o dinheiro se perde. O treinamento estressa a interconexão: quantas GPUs você consegue fazer se comportarem como uma. A inferência estressa a memória e a banda por real, porque o trabalho é sustentar um modelo e servir tokens barato. A precisão vive por baixo das duas: FP4 corta pela metade os bytes por parâmetro ante o FP8, dobra a banda efetiva e deixa uma única placa servir um modelo que antes precisava de duas.

Na prática, um cluster de treinamento se compra em torno do seu fabric —quantas GPUs você consegue fazer se comportarem como uma— enquanto uma frota de inferência se compra em torno da memória e da banda por real, porque o trabalho é sustentar um modelo e servir tokens barato. Projetamos o nó para o lado dessa linha em que você de fato vive, em vez de comprar um equipamento de treinamento para inferir ou deixar um treinamento sem interconexão.

O dimensionamento sai desse rateio de forma concreta. Para treinar, inclinamos o nó para a interconexão e o número de GPUs que escala limpo no seu framework; para inferir, inclinamos para memória por real e banda, e nos apoiamos no FP4 onde o modelo tolera. O tamanho de lote, o comprimento de sequência e quantos usuários você serve de uma vez definem depois quanta folga deixar. Nada disso é exótico, mas acertar mais ou menos é a diferença entre pagar por aceleradores que trabalham e pagar por uns que esperam.

De uma placa a um rack

Quase tudo o que descrevemos se monta em poucas formas padrão, e qual você precisa segue da escala. Um único acelerador serve para desenvolvimento e inferência modesta; um nó de oito GPUs é o cavalo de batalha para treinamento sério e atendimento de alto throughput; e um rack completo une dezenas de GPUs em um mesmo fabric para os maiores trabalhos. As unidades abaixo são as que usamos.

• Uma única GPU — desenvolvimento e inferência modesta. Uma placa sobre um host EPYC, pronta em minutos.
• Nó de 8 GPUs — o cavalo de batalha: treinamento sério e atendimento de alto throughput, todos-com-todos por NVLink.
• Rack completo — dezenas de GPUs em um mesmo fabric (InfiniBand / RoCE) para os maiores trabalhos.

O salto entre elas é um degrau de custo, energia e complexidade operacional a cada vez, então dimensionamos à menor forma que faz o trabalho. Uma equipe que precisa de quarenta GPUs de treinamento por algumas semanas costuma ser mais bem servida por um nó de oito GPUs no talo, ou por capacidade alugada, do que se comprometendo com um rack que não vai manter cheio.

Alugar ou comprar GPUs?

É a pergunta que mais nos fazem, e a resposta honesta é que depende de com que constância você vai usá-las. Alugar ganha quando o trabalho é em rajadas ou exploratório. O trabalho é em rajadas ou exploratório, o projeto é curto, ou você precisa de computação neste mês enquanto os prazos do silício novo persistem. Comprar ganha quando o trabalho é estável. A utilização é sustentada e quase contínua, a residência ou o isolamento de dados importam, ou o horizonte é de vários anos onde o aluguel por hora se acumula.

Como regra prática que muitos responsáveis financeiros usam: abaixo de umas 500 horas de treinamento por mês, alugar quase sempre ganha; acima disso de forma consistente, vale calcular o ROI de ter infraestrutura própria ou um contrato de reserva. Comprar um servidor só economiza com utilização sustentada acima de 60% por 18 a 24 meses, e os custos ocultos —energia, refrigeração, pessoal, instalação, depreciação— somam 40–60% sobre o preço do hardware por ano. Vale notar que, no Brasil, a comparação muda com o câmbio e a tributação sobre hardware importado, o que costuma empurrar o aluguel para a frente em projetos curtos.

Duas ressalvas mantêm a decisão honesta. A primeira é a oferta: O mercado de aluguel da NVIDIA é muito mais profundo do que o de compra, e para contratos curtos costuma ganhar também no preço; as neoclouds especializadas custam menos da metade dos hyperscalers. A segunda é a tentação de esperar o próximo. Esperar a próxima geração raramente compensa: quando ela chega e escala, você já está um ciclo atrás. Melhor testar em hardware disponível e se comprometer quando a utilização justificar. Juntas, o caminho sóbrio para a maioria é começar em hardware disponível e testado —muitas vezes Hopper—, validar a carga, e se comprometer a comprar capacidade só quando a utilização justificar. O modelo híbrido costuma ganhar: o hardware próprio cobre o piso, o alugado cobre o teto.

Potência, refrigeração e inquilino único

Os aceleradores mais novos consomem 1000 watts ou mais cada um, e oito deles em um chassi produzem mais calor do que o ar consegue tirar de forma razoável. A refrigeração líquida absorve essa carga térmica e deixa as GPUs manterem as suas frequências sob trabalho sustentado; as placas da geração Hopper, a 700 watts, ainda podem ir a ar, o que é mais uma razão para a H200 às vezes ser a escolha mais simples. O custo de energia entra na conta de propriedade, não é um detalhe.

O inquilino único é a outra metade. O nó inteiro é seu, sobre um host AMD EPYC de alta frequência, com as GPUs, o fabric NVLink e o NVMe local dedicados à sua carga e sem outro inquilino dividindo a máquina. Você recebe root, a sua escolha de pilha CUDA ou ROCm, e o isolamento físico que a residência de dados e a conformidade costumam pedir.

E aqui vamos ser honestos sobre a soberania de dados, que pesa cada vez mais no Brasil. Os nossos nós ficam na Europa e em Ashburn, não em solo brasileiro. Para muita carga, a LGPD permite a transferência internacional com base legal e salvaguardas, e o isolamento de inquilino único protege o seu dataset de qualquer outro cliente. Mas se a exigência é que os dados de treino nunca saiam do Brasil —por propriedade intelectual, por setor regulado ou por política da sua empresa— um provedor de GPU em solo brasileiro é a resposta certa, e a demanda por GPU dedicada no país cresceu com força no último ano justamente por isso. Não fingimos ser esse provedor; dizemos quando ele é o caminho.