AWS Machine Learning Blog8/18 02:0697 分精选
NVIDIA Nemotron 3.5 Lightning 登陆 SageMaker JumpStart
NVIDIA Nemotron 3.5 Lightning now available in Amazon SageMaker JumpStart
推荐理由:我认为这条值得 AI 创作者和产品孵化者关注:Nemotron 3.5 Lightning 以 30B MoE(3B 激活)实现 4 倍吞吐和 30% 提速,对常驻智能体场景是直接可抄的部署方案,能显著降低推理成本。
NVIDIA Nemotron 3.5 Lightning 现已在 Amazon SageMaker JumpStart 中提供,该开放模型专为高吞吐量的智能体工作负载设计。该模型为 30B 参数的混合专家模型(激活参数 3B),相比同类模型,吞吐量提升高达 4 倍,任务完成速度提升 30%,适用于常驻型 AI 智能体。文章介绍了如何在 SageMaker JumpStart 中部署该模型。