IA Notícia
AWS integra NVIDIA Dynamo ao SageMaker HyperPod para distribuir inferência de IA entre servidores
- Publicação original
- Revisão editorial
- Publicado no Zamba News
Todos os resumos e análises são produzidos por IA. Podem conter erros; confira as fontes originais. Ver fontes originais ↓
Resumo factual
A AWS anunciou suporte ao NVIDIA Dynamo no Amazon SageMaker HyperPod Inference, permitindo distribuir modelos de linguagem entre servidores e separar o processamento dos comandos da geração de respostas. A integração reúne componentes de orquestração, roteamento por cache e recuperação de nós. Em teste divulgado pela própria empresa com Qwen3-235B, a configuração separada atingiu 207 tokens de saída por segundo por GPU, contra 101 na configuração agregada, sob condições específicas. O resultado é um benchmark do fornecedor, não uma avaliação independente nem garantia de ganho em qualquer aplicação.
Pergunte à matéria
O que consta na matéria?
A AWS anunciou suporte ao NVIDIA Dynamo no Amazon SageMaker HyperPod Inference, permitindo distribuir modelos de linguagem entre servidores e separar o processamento dos comandos da geração de respostas. A integração reúne componentes de orquestração, roteamento por cache e recuperação de nós. Em teste divulgado pela própria empresa com Qwen3-235B, a configuração separada atingiu 207 tokens de saída por segundo por GPU, contra 101 na configuração agregada, sob condições específicas. O resultado é um benchmark do fornecedor, não uma avaliação independente nem garantia de ganho em qualquer aplicação.
Ver resumo factual ↓O que ainda está em aberto?
Não executamos os exemplos nem reproduzimos os benchmarks. O ensaio é apresentado por AWS e colaboradores da NVIDIA, não uma replicação independente. Não foram confirmados custo final, disponibilidade regional ou resultados em tráfego de produção. O ganho reportado não deve ser generalizado para todos os modelos.
Ver análise editorial ↓O que aconteceu depois?
Esta matéria ainda não tem desdobramentos publicados.
Análise editorial
Contexto
O Dynamo coordena inferência distribuída, inclusive com etapas de prefill e decode separadas. O anúncio trata do HyperPod e é distinto do suporte a roteamento por cache nos endpoints de tempo real do SageMaker já noticiado neste caderno.
Implicações
Separar as etapas pode permitir ajustes independentes de capacidade; isso não prova redução de custo total. A adoção exige dimensionar memória, comunicação entre GPUs, concorrência e metas de latência para a aplicação.
Evidências
No teste com Qwen3-235B-A22B-FP8, a AWS usou duas instâncias p5en.48xlarge com 16 GPUs H200, entradas de 4 mil tokens e saídas de 200. Os pontos comparados atendiam às metas de latência descritas e usavam concorrências diferentes: 80 no modo separado e 32 no agregado. A data e hora originais constam do RSS oficial.
Limitações
Não executamos os exemplos nem reproduzimos os benchmarks. O ensaio é apresentado por AWS e colaboradores da NVIDIA, não uma replicação independente. Não foram confirmados custo final, disponibilidade regional ou resultados em tráfego de produção. O ganho reportado não deve ser generalizado para todos os modelos.