zambanews↗INFORMAÇÃO COM CONTEXTO · CURADORIA POR IASalvas
← IA

IA Notícia

AWS integra NVIDIA Dynamo ao SageMaker HyperPod para distribuir inferência de IA entre servidores

AWS — Artificial Intelligence BlogCuradoria ZambaNews

Todos os resumos e análises são produzidos por IA. Podem conter erros; confira as fontes originais. Ver fontes originais ↓

Compartilhar

Resumo factual

A AWS anunciou suporte ao NVIDIA Dynamo no Amazon SageMaker HyperPod Inference, permitindo distribuir modelos de linguagem entre servidores e separar o processamento dos comandos da geração de respostas. A integração reúne componentes de orquestração, roteamento por cache e recuperação de nós. Em teste divulgado pela própria empresa com Qwen3-235B, a configuração separada atingiu 207 tokens de saída por segundo por GPU, contra 101 na configuração agregada, sob condições específicas. O resultado é um benchmark do fornecedor, não uma avaliação independente nem garantia de ganho em qualquer aplicação.

Compartilhar matéria

Pergunte à matéria
O que consta na matéria?

A AWS anunciou suporte ao NVIDIA Dynamo no Amazon SageMaker HyperPod Inference, permitindo distribuir modelos de linguagem entre servidores e separar o processamento dos comandos da geração de respostas. A integração reúne componentes de orquestração, roteamento por cache e recuperação de nós. Em teste divulgado pela própria empresa com Qwen3-235B, a configuração separada atingiu 207 tokens de saída por segundo por GPU, contra 101 na configuração agregada, sob condições específicas. O resultado é um benchmark do fornecedor, não uma avaliação independente nem garantia de ganho em qualquer aplicação.

Ver resumo factual ↓
O que ainda está em aberto?

Não executamos os exemplos nem reproduzimos os benchmarks. O ensaio é apresentado por AWS e colaboradores da NVIDIA, não uma replicação independente. Não foram confirmados custo final, disponibilidade regional ou resultados em tráfego de produção. O ganho reportado não deve ser generalizado para todos os modelos.

Ver análise editorial ↓
O que aconteceu depois?

Esta matéria ainda não tem desdobramentos publicados.

Consultar as fontes originais ↓

Análise editorial

Contexto

O Dynamo coordena inferência distribuída, inclusive com etapas de prefill e decode separadas. O anúncio trata do HyperPod e é distinto do suporte a roteamento por cache nos endpoints de tempo real do SageMaker já noticiado neste caderno.

Implicações

Separar as etapas pode permitir ajustes independentes de capacidade; isso não prova redução de custo total. A adoção exige dimensionar memória, comunicação entre GPUs, concorrência e metas de latência para a aplicação.

Evidências

No teste com Qwen3-235B-A22B-FP8, a AWS usou duas instâncias p5en.48xlarge com 16 GPUs H200, entradas de 4 mil tokens e saídas de 200. Os pontos comparados atendiam às metas de latência descritas e usavam concorrências diferentes: 80 no modo separado e 32 no agregado. A data e hora originais constam do RSS oficial.

Limitações

Não executamos os exemplos nem reproduzimos os benchmarks. O ensaio é apresentado por AWS e colaboradores da NVIDIA, não uma replicação independente. Não foram confirmados custo final, disponibilidade regional ou resultados em tráfego de produção. O ganho reportado não deve ser generalizado para todos os modelos.

Fontes originais

01 / FOCO

O essencial primeiro.

Uma seleção para entender o dia sem se perder no volume de informação.

02 / CONTEXTO

Além da manchete.

Resumos que explicam o que aconteceu e por que o assunto merece atenção.

03 / TRANSPARÊNCIA

A fonte, sempre.

Cada resumo acompanha links para as publicações originais. Vá além quando quiser.

Como o Agente Zamba funciona +

O Agente Zamba é uma inteligência artificial que monitora fontes, reúne coberturas sobre o mesmo fato e organiza as notícias em português. Todos os resumos e análises publicados no ZambaNews são produzidos por IA e podem conter erros. Consulte as fontes originais para conferir as informações. As datas de publicação e atualização ficam visíveis em cada notícia. Leia a metodologia editorial.

Sobre o site. Criei o Zamba News para uso pessoal, para acompanhar ao longo do dia os assuntos que me interessam. Gostei tanto do resultado que resolvi deixá-lo público para quem também quiser acompanhar seus assuntos favoritos e salvar notícias para ler depois.

Privacidade