模型推理

vLLM、SGLang、KServe 与 AI 网关：让模型可靠地跑起来。

面向大规模 MoE 文本推理与多模态 EPD 推理，拆出 Encoder、Prefill、Decode 独立资源池，用 Mooncake 在 RDMA 上传输 KV Cache，给出 Release Manifest、验收、告警与故障演练的完整闭环。

从模型训练完成到稳定接收请求，理解模型包、InferenceService、就绪检查、流量版本和发布记录之间的关系。

GPUStack 用于管理 GPU 资源和模型服务。部署时要同时核对管理服务、工作节点和推理后端的版本，避免界面可用但模型实例无法启动的情况。

部署一个模型通常从推理引擎开始。vLLM 部署先确认驱动、GPU、Python 与安装包是否兼容，再用小模型验证请求链路；模型数量或流量增加后，把模型发布、容量分配和请求路由交给平台层统一管理，选型时先列出要解决的问题再核对候选系统的职责。

一个模型调用示例要能被再次运行，需要同时固定 Python 版本、依赖解析结果和 API 参数。本文使用 Python 3.12、uv 项目模式和 OpenAI Python SDK，连接提供 Chat Completions 接口的服务。

New-API 自部署 AI 网关：统一 OpenAI / Claude / Gemini / DeepSeek 等多家协议、多 key 轮询与限额管理。