解决方案 · 微调

用于大模型微调的 GPU：70B+ 模型，显存不再捉襟见肘。

使用 Adam 优化器在 BF16 下进行全参数微调，每个参数大约需要 16 字节，70B 模型约需 1.1 TB，因此需要一台 8× H200 服务器。LoRA 或 QLoRA 只需一到两块 GPU。请参阅我们的显存指南。

可以。您拥有 root 权限：可以运行 Docker、Podman，也可以按需使用自己的驱动搭建裸金属环境。

是的。GPU 和服务器均由您独享，本地磁盘在更换客户之间会被安全擦除。请参阅安全页面。

LoRA、QLoRA 或全参数微调都需要为权重、优化器状态和长序列留出空间。按月租用您所需的显存，每 GPU 141 GB 至 288 GB。

痛点

是什么在拖慢团队

为了塞进 80 GB 而不断缩小批次和序列长度，白白耗费数天的工程时间。

微调需要反复迭代：按小时计费时，实验之间的每次停顿都要花钱。

对大多数微调任务而言，显存、带宽和每 GB 价格比峰值 FLOPS 更重要。

CoreGPU 如何解决

每台服务器在开售前都已完成上架、测试和镜像预装，因此您不到一分钟即可获得 root 权限，账单金额也提前可知。

推荐服务器

实时库存与整台服务器的月价。打开 GPU 页面即可配置。

了解详情

选择 GPU 和服务器规格：月度总价以及相比市场节省的金额会即时更新。