跳转到内容
主站 新闻 控制台

你的模型能在 AWS Trainium 上运行吗?一查便知

· Hugging Face
教程模型卡

在上一篇文章中,我们介绍了 TorchNeuron——面向 AWS Trainium 的原生 PyTorch 后端(即 torch-neuronx 包)。借助它,Transformers 能够像在任何其他设备上一样,在 Trainium 上直接运行自身的建模代码,因此 Hub 上的任何 Transformers 模型都有可能运行。但究竟哪些模型切实可行呢?

torch-neuronx model support Space 针对 Hub 上最热门的模型解答了这个问题。它可以告诉你某个模型是否无需修改即可在 Trainium 上运行,并为你提供可自行运行该模型的脚本。

Image 9: torch-neuronx model support

查询模型

该 Space 默认打开 Selected(精选)视图:包含我们在 Hub 上根据下载量和热度排名精选的热门模型。每一行都展示了运行结果、模型分片(sharded)所占用的 Trainium 核心数、运行耗时(Wall Time,包含编译时间)以及设备内存峰值。

要查找特定模型,可切换到 Trending(趋势)或 Downloads(下载量)视图并输入模型名称的一部分。这些视图遵循 Hub 自身的排名(按单个任务划分),无论模型是否经过测试都会列出。当某个模型被特意排除时,Space 会说明原因(大多数情况下是因为未列为高优先级,有时则确实是不兼容)。你还可以选择查看特定版本的 Neuron 编译器(neuronx-cc)和 Transformers。

截至撰写本文时,目前仅测试了 Transformers 模型,且精选范围限于 text-generation(文本生成)和 image-text-to-text(图文到文本)模型。我们计划未来扩展到 diffusers、sentence transformers 以及其他 transformers 任务。

自行运行

选择一个模型即可查看运行方法。Space 会列出该模型测试时所基于的 Neuron 技术栈、需额外安装的依赖包以及实际运行的 run.py 脚本。该脚本遵循 TorchNeuron 发布公告中的方案:使用 from_pretrained 加载模型并在需要时进行分片,然后结合静态缓存(static cache)和 torch.compile(backend="neuron") 进行生成。

在配备该技术栈的 Trainium2(trn2)实例上(例如在 AWS Neuron Deep Learning Container 容器中),安装相应依赖包后运行:

Terminal window
python3 run.py

无需使用 torchrun:当模型进行分片时,脚本会自动启动自身的 torch.distributed 进程(ranks)。

首次运行会先编译模型的计算图。若要跳过此步骤,可直接从公开的 NEFF cache 存储桶中复制相同编译器在测试期间构建的计算图。Space 会提供带有对应编译器版本的命令:

Terminal window
hf buckets sync hf://buckets/aws-neuron/torch-neuronx-neff-cache/neuronxcc-<version> /tmp/neff_cache

“能够运行”的含义

每次测试都会在 trn2 实例上加载模型,并将其分片至足以容纳其权重的最少 Trainium 核心上。大多数模型采用张量并行(tensor parallelism)进行分片。没有张量并行方案的混合专家(MoE)模型则仅采用专家并行(expert parallelism)。测试随后会生成 32 个 token 并进行校验。在单核运行时,生成的 token 会与该检查点在 CPU 运行时的输出进行对比。当模型分片运行时,则由一个小型的裁判模型(judge model)检验文本是否为通顺的英文。

截至撰写本文时,仅测试了能在 4 台 Trainium2 设备(即最多 16 个核心)内容纳的模型。获得 PASS 仅代表能够运行,并不反映吞吐量表现或更长生成长度下的表现。

测试结果构成了一个数据集

Space 展示的所有内容均来自公开的 aws-neuron/torch-neuronx-model-support 数据集,每个 neuronx-cc 与库版本的组合对应一个 Parquet 文件。

每一行记录了模型的运行结果、失败时的错误信息、整个技术栈的版本以及当时执行的 run.py 脚本。你可以直接进行查询:

import pandas as pd
df = pd.read_parquet("hf://datasets/aws-neuron/torch-neuronx-model-support/data")
df[df.model_id == "Qwen/Qwen3-0.6B"][["neuronx_cc", "library", "library_version", "neuron_cores", "result"]]

数据集卡片给出了每个结果的具体含义。

下次你想了解某个模型能否在 Trainium 上运行时,欢迎前去查询。