解决方案 · 推理

用于大模型推理的 GPU 服务器，成本可预期。

对于显存装得下的模型，每美元显存带宽决定了解码成本。MI300X 和 H200 擅长 70B–405B 模型；RTX PRO 6000 和 L40S 更适合较小的模型。

可以。拥有 root 权限后，您可以在多个模型之间分配 GPU，也可以在 RTX PRO 6000 上使用 MIG，将租用的显卡切分为相互隔离的实例。

在遵守我们的可接受使用政策的前提下，网络流量已包含在月价中。

固定月价让推理成为固定成本：流量激增时也不会出现意外账单。根据模型选择服务器规格，从适合小模型的 L40S 到用于 FP4 推理服务的 B300。

痛点

是什么在拖慢团队

按小时和按 token 计费，让每月的推理成本难以预测。

为 13B 模型选用旗舰 GPU，只会白白消耗预算。

共享云上的自动扩缩容会带来额外延迟和容量风险。

CoreGPU 如何解决

每台服务器在开售前都已完成上架、测试和镜像预装，因此您不到一分钟即可获得 root 权限，账单金额也提前可知。

推荐服务器

实时库存与整台服务器的月价。打开 GPU 页面即可配置。

了解详情

选择 GPU 和服务器规格：月度总价以及相比市场节省的金额会即时更新。