> For clean Markdown content of this page, append .md to this URL. For the complete documentation index, see https://docs.nvidia.com/dynamo/latest/llms.txt. For section-specific indexes, append /llms.txt to any section URL.

# 快速开始

## 选择你的路径

#### [快速开始](/dynamo/zh-CN/dev/getting-started/quickstart)

你在这里。容器快速路径。

#### [本地安装](/dynamo/zh-CN/dev/getting-started/local-installation)

完整演练 — PyPI、配置。

#### [Kubernetes](/dynamo/dev/getting-started/kubernetes-deployment)

生产级多节点集群。

#### [从源码构建](/dynamo/zh-CN/dev/getting-started/building-from-source)

面向基于 `main` 的贡献者。

Dynamo 与后端无关 — 每种安装路径都适用于 **SGLang**、**TensorRT-LLM** 和 **vLLM**。选择适合你环境的安装路径，然后选择后端。

## 拉取容器

容器已预安装所有依赖。选择你的后端：

#### SGLang

```bash
docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/sglang-runtime:1.2.1
```

#### TensorRT-LLM

```bash
docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/tensorrtllm-runtime:1.2.1
```

#### vLLM

```bash
docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime:1.2.1
```

**受限模型需要 Hugging Face token。** Llama、Kimi、Qwen-VL 和其他受限模型要求你的环境中设置 `HF_TOKEN`，并且已在 huggingface.co 接受模型卡片的许可证。启动前请设置 `export HF_TOKEN=hf_…`。

有关容器版本和标签，请参阅 [Release Artifacts](/dynamo/dev/resources/release-artifacts#container-images)。

## 启动前端

在容器中，在端口 8000 上启动 OpenAI 兼容前端：

```bash
python3 -m dynamo.frontend --discovery-backend file
```

`--discovery-backend file` 可以避免依赖 etcd。若要在同一个终端中运行前端和 worker，请用 `> logfile.log 2>&1 &` 将每条命令放到后台。

## 启动 Worker

在另一个终端中，为你的后端启动一个 worker：

#### SGLang

```bash
python3 -m dynamo.sglang --model-path Qwen/Qwen3-0.6B --discovery-backend file
```

#### TensorRT-LLM

```bash
python3 -m dynamo.trtllm --model-path Qwen/Qwen3-0.6B --discovery-backend file
```

#### vLLM

```bash
python3 -m dynamo.vllm --model Qwen/Qwen3-0.6B --discovery-backend file \
  --kv-events-config '{"enable_kv_cache_events": false}'
```

## 验证和测试

检查端点是否已启动：

```bash
curl -sf http://localhost:8000/health && echo OK
```

如果看到 `OK`，发送一个聊天补全请求：

```bash title="Request"
curl localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Qwen/Qwen3-0.6B",
       "messages": [{"role": "user", "content": "Hello!"}],
       "max_tokens": 50}'
```

```json title="Response"
{
  "id": "chatcmpl-...",
  "model": "Qwen/Qwen3-0.6B",
  "choices": [{
    "index": 0,
    "message": {"role": "assistant", "content": "Hello! How can I help you today?"},
    "finish_reason": "stop"
  }],
  "usage": {"prompt_tokens": 9, "completion_tokens": 10, "total_tokens": 19}
}
```

连接被拒绝？前端需要几秒钟才能启动 — 请重试。有关生产环境的存活和就绪探针，请参阅 [Health Checks](/dynamo/dev/user-guides/observability-local/health-checks)。

## 摘自 Digest

#### [面向 Agentic Inference 的全栈优化](/dynamo/dev/digest/agentic-inference)

Dynamo 如何在三层上优化 agentic 工作负载：前端 API、路由器和 KV cache 管理。

#### [Flash Indexer：跨星系 KV 路由](/dynamo/dev/digest/flash-indexer)

Dynamo 的并发全局索引如何经历六次迭代，演进到能够维持超过 100M ops/sec。

## 深入了解

从[上面的四个选项](#选择你的路径)中选择一条完整安装路径，或探索 Dynamo 底层的工作原理：

#### [架构](/dynamo/dev/design-docs/overall-architecture)

前端、路由器和 worker 如何协同工作。

#### [前端指南](/dynamo/dev/components/frontend)

Worker 发现、多模型路由、OpenAI 兼容性。

#### [KV Cache 感知路由](/dynamo/dev/components/router/routing-concepts#kv-cache-routing)

路由器如何为了前缀复用而放置请求。

#### [Health Checks](/dynamo/dev/user-guides/observability-local/health-checks)

生产部署的存活和就绪探针。