Validation Results

View as Markdown

The Cluster Readiness Engine (CRE) has been validated on the following platform and GPU combinations. Each certification ran NCCL communication tests (all-reduce, all-gather, alltoall) and NeMo training. GB200/GB300 configurations include both MNNVL-enabled and MNNVL-disabled variants.

Summary

PlatformGPUNodesInterconnectCategoriesResult
AWSH1002EFA4/4PASSED
AWSGB2004EFA8/8PASSED
AWSGB3008RoCE8/8PASSED
GCPH1002TCPXO4/4PASSED
GCPGB2002RoCE8/8PASSED

Catalog variant names evolve between releases. The training entry used during these validation runs (training/nemotron4-15b) has since been superseded — the current catalog offers training/nemotron5-8b and training/nemotron5-56b. List the categories available in your installed version with nvcrectl certification list-categories.

Detailed Reports

AWS H100

╔════════════════════════════════════════════════════════════════╗
║ Certification Report ║
╚════════════════════════════════════════════════════════════════╝
Name: gpu-cluster-cert
Platform: aws
GPU: h100
Nodes: 2
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-reduce │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 11m 0s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 260.20 GB/s 487.87 GB/s 65 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-gather │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 7m 5s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 361.14 GB/s 338.57 GB/s 67 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-alltoall │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 22m 10s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 84.40 GB/s 79.11 GB/s 66 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ training/nemotron4-15b │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 4m 49s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ │
│ Avg Runtime Goodput: 0.90 (90%) │
│ Avg TFLOPs/GPU: 539.8 │
│ Avg Train Time: 3m 40s │
│ Avg Step Time: 2.85s │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ Summary │
├────────────────────────────────────────────────────────────────┤
│ Categories: 4/4 passed │
│ Failed Nodes: none │
│ Result: PASSED │
└────────────────────────────────────────────────────────────────┘

AWS GB200

╔════════════════════════════════════════════════════════════════╗
║ Certification Report ║
╚════════════════════════════════════════════════════════════════╝
Name: gpu-cluster-cert
Platform: aws
GPU: gb200
Nodes: 4
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-reduce │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 6m 47s │
│ Nodes/Job: 4 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 470.68 GB/s 882.51 GB/s 65 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-gather │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 4m 3s │
│ Nodes/Job: 4 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 649.90 GB/s 609.28 GB/s 67 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-alltoall │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 5m 12s │
│ Nodes/Job: 4 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 606.58 GB/s 568.66 GB/s 65 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-reduce │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 20m 20s │
│ Nodes/Job: 4 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 102.08 GB/s 191.40 GB/s 65 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-gather │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 10m 23s │
│ Nodes/Job: 4 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 204.01 GB/s 191.26 GB/s 65 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-alltoall │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 28m 31s │
│ Nodes/Job: 4 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 62.02 GB/s 58.15 GB/s 63 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ training/nemotron4-15b │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 3m 43s │
│ Nodes/Job: 4 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Avg Runtime Goodput: 0.68 (68%) │
│ Avg TFLOPs/GPU: 1186.5 │
│ Avg Train Time: 2m 38s │
│ Avg Step Time: 1.30s │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ training/nemotron4-15b │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 3m 49s │
│ Nodes/Job: 4 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Avg Runtime Goodput: 0.66 (66%) │
│ Avg TFLOPs/GPU: 1118.5 │
│ Avg Train Time: 3m 10s │
│ Avg Step Time: 1.38s │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ Summary │
├────────────────────────────────────────────────────────────────┤
│ Categories: 8/8 passed │
│ Failed Nodes: none │
│ Result: PASSED │
└────────────────────────────────────────────────────────────────┘

AWS GB300

╔════════════════════════════════════════════════════════════════╗
║ Certification Report ║
╚════════════════════════════════════════════════════════════════╝
Name: gpu-cluster-cert
Platform: aws
GPU: gb300
Nodes: 8
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-reduce │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 7m 32s │
│ Nodes/Job: 8 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 476.55 GB/s 923.32 GB/s 67 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-gather │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 5m 3s │
│ Nodes/Job: 8 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 721.28 GB/s 698.74 GB/s 69 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-alltoall │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 6m 40s │
│ Nodes/Job: 8 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 700.45 GB/s 678.57 GB/s 68 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-reduce │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 13m 39s │
│ Nodes/Job: 8 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 194.07 GB/s 376.01 GB/s 65 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-gather │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 6m 19s │
│ Nodes/Job: 8 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 377.48 GB/s 365.68 GB/s 63 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-alltoall │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 24m 26s │
│ Nodes/Job: 8 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 88.38 GB/s 85.62 GB/s 68 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ training/nemotron4-15b │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 3m 49s │
│ Nodes/Job: 8 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Avg Runtime Goodput: 0.57 (57%) │
│ Avg TFLOPs/GPU: 1388.5 │
│ Avg Train Time: 3m 26s │
│ Avg Step Time: 1.11s │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ training/nemotron4-15b │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 3m 54s │
│ Nodes/Job: 8 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Avg Runtime Goodput: 0.57 (57%) │
│ Avg TFLOPs/GPU: 1136.9 │
│ Avg Train Time: 3m 26s │
│ Avg Step Time: 1.40s │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ Summary │
├────────────────────────────────────────────────────────────────┤
│ Categories: 8/8 passed │
│ Failed Nodes: none │
│ Result: PASSED │
└────────────────────────────────────────────────────────────────┘

GCP H100

╔════════════════════════════════════════════════════════════════╗
║ Certification Report ║
╚════════════════════════════════════════════════════════════════╝
Name: gpu-cluster-cert
Platform: gcp
GPU: h100
Nodes: 2
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-reduce │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 13m 38s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 179.78 GB/s 337.09 GB/s 67 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-gather │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 11m 19s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 201.88 GB/s 189.27 GB/s 66 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-alltoall │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 40m 40s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 42.84 GB/s 40.16 GB/s 66 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ training/nemotron4-15b │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 4m 37s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ │
│ Avg Runtime Goodput: 0.92 (92%) │
│ Avg TFLOPs/GPU: 511.7 │
│ Avg Train Time: 3m 33s │
│ Avg Step Time: 3.01s │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ Summary │
├────────────────────────────────────────────────────────────────┤
│ Categories: 4/4 passed │
│ Failed Nodes: none │
│ Result: PASSED │
└────────────────────────────────────────────────────────────────┘

GCP GB200

╔════════════════════════════════════════════════════════════════╗
║ Certification Report ║
╚════════════════════════════════════════════════════════════════╝
Name: gpu-cluster-cert
Platform: gcp
GPU: gb200
Nodes: 2
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-reduce │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 6m 25s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 478.90 GB/s 838.07 GB/s 64 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-gather │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 2m 56s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 777.35 GB/s 680.18 GB/s 58 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-alltoall │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 3m 7s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 781.51 GB/s 683.82 GB/s 67 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-reduce │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 6m 50s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 478.72 GB/s 837.76 GB/s 65 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-all-gather │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 3m 24s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 777.33 GB/s 680.16 GB/s 58 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ communication/nccl-alltoall │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 3m 8s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Bandwidth: │
│ Size AlgBW BusBW Samples │
│ 16 GB 781.54 GB/s 683.84 GB/s 65 │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ training/nemotron4-15b │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 5m 40s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ MNNVL: Enabled │
│ │
│ Avg Runtime Goodput: 0.68 (68%) │
│ Avg TFLOPs/GPU: 1175.0 │
│ Avg Train Time: 2m 16s │
│ Avg Step Time: 1.31s │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ training/nemotron4-15b │
├────────────────────────────────────────────────────────────────┤
│ Status: Succeeded │
│ Duration: 2m 44s │
│ Nodes/Job: 2 │
│ Jobs: 1 │
│ MNNVL: Disabled │
│ │
│ Avg Runtime Goodput: 0.69 (69%) │
│ Avg TFLOPs/GPU: 1122.0 │
│ Avg Train Time: 2m 21s │
│ Avg Step Time: 1.37s │
└────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────┐
│ Summary │
├────────────────────────────────────────────────────────────────┤
│ Categories: 8/8 passed │
│ Failed Nodes: none │
│ Result: PASSED │
└────────────────────────────────────────────────────────────────┘

Machine-readable results

nvcrectl certification run --wait --results-file <path> and nvcrectl certification report <name> --results-file <path> write the same report as JSON. The file contains a single report object (or an array when multiple certifications are combined into one report):

1{
2 "name": "gpu-cluster-cert",
3 "platform": "aws",
4 "gpu": "gb200",
5 "totalNodes": 4,
6 "categories": [
7 {
8 "domain": "communication",
9 "variant": "nccl-all-reduce",
10 "status": "Succeeded",
11 "runtime": "6m 47s",
12 "nodesPerJob": 4,
13 "jobs": 1,
14 "mnnvl": "Enabled",
15 "bandwidth": [
16 { "size": "16 GB", "algBW": "470.68 GB/s", "busBW": "882.51 GB/s", "samples": 65 }
17 ]
18 }
19 ],
20 "failedNodes": [],
21 "result": "PASSED"
22}

Top-level fields:

FieldTypeDescription
namestringCertification name
platformstringDetected platform (aws, gcp, azure, oci, onprem, …)
gpustringDetected GPU architecture
totalNodesintNumber of nodes targeted by the certification
excludedNodes[]stringNodes that matched the target but were left untested (omitted when empty)
exclusionReasonstringWhy nodes were excluded (omitted when empty)
categories[]objectPer-category results (see below)
failedNodes[]stringDeduped union of failed node names across all categories
resultstringPASSED, INCOMPLETE, FAILED, or RUNNING
nodeResults[]objectPer-node pass/fail entries: name, group, rack (optional), status (Passed or Failed)

Each entry in categories:

FieldTypeDescription
domain / variantstringCatalog category, e.g. communication / nccl-all-reduce
statusstringCategory status (Succeeded, Failed, …)
failureReasonstringPopulated from the Workflow Failed condition message (omitted when empty)
runtimestringTotal runtime across all iterations
testScalestringTest scale, when set
nodesPerJobintNodes per job group
jobsintNumber of jobs run
mnnvlstringEnabled, Disabled, or omitted when unknown
bandwidth[]objectNCCL results per message size: size, algBW, busBW, samples
domains[]objectTraining results per topology domain: name, nodeCount, goodput, tflops, stepTime
failedGroups[]objectFailed orchestration groups: name, nodeCount, nodes, reason
iterations[]objectPer-iteration results: number, status, duration

See also