Getting Started

快速开始

约 5 分钟内在容器中运行一个兼容 OpenAI 的 Dynamo endpoint。

以 Markdown 格式查看

选择你的路径

快速开始

你在这里。容器快速路径。

本地安装

完整演练 — PyPI、配置。

Kubernetes

生产级多节点集群。

从源码构建

面向基于 main 的贡献者。

Dynamo 与后端无关 — 每种安装路径都适用于 SGLang、TensorRT-LLM 和 vLLM。选择适合你环境的安装路径，然后选择后端。

拉取容器

容器已预安装所有依赖。选择你的后端：

$docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/sglang-runtime:1.2.1

受限模型需要 Hugging Face token。 Llama、Kimi、Qwen-VL 和其他受限模型要求你的环境中设置 HF_TOKEN，并且已在 huggingface.co 接受模型卡片的许可证。启动前请设置 export HF_TOKEN=hf_…。

有关容器版本和标签，请参阅 Release Artifacts。

启动前端

在容器中，在端口 8000 上启动 OpenAI 兼容前端：

$python3 -m dynamo.frontend --discovery-backend file

--discovery-backend file 可以避免依赖 etcd。若要在同一个终端中运行前端和 worker，请用 > logfile.log 2>&1 & 将每条命令放到后台。

启动 Worker

在另一个终端中，为你的后端启动一个 worker：

$python3 -m dynamo.sglang --model-path Qwen/Qwen3-0.6B --discovery-backend file

验证和测试

检查端点是否已启动：

$curl -sf http://localhost:8000/health && echo OK

如果看到 OK，发送一个聊天补全请求：

$curl localhost:8000/v1/chat/completions \
>  -H "Content-Type: application/json" \
>  -d '{"model": "Qwen/Qwen3-0.6B",
>       "messages": [{"role": "user", "content": "Hello!"}],
>       "max_tokens": 50}'

连接被拒绝？前端需要几秒钟才能启动 — 请重试。有关生产环境的存活和就绪探针，请参阅 Health Checks。

摘自 Digest

面向 Agentic Inference 的全栈优化

Dynamo 如何在三层上优化 agentic 工作负载：前端 API、路由器和 KV cache 管理。

Flash Indexer：跨星系 KV 路由

Dynamo 的并发全局索引如何经历六次迭代，演进到能够维持超过 100M ops/sec。

深入了解

从上面的四个选项中选择一条完整安装路径，或探索 Dynamo 底层的工作原理：

架构

前端、路由器和 worker 如何协同工作。

前端指南

Worker 发现、多模型路由、OpenAI 兼容性。

KV Cache 感知路由

路由器如何为了前缀复用而放置请求。

Health Checks

生产部署的存活和就绪探针。