跳转到内容
主站 新闻 控制台

TorchNeuron:在 AWS Trainium 上运行 HF 模型从未如此简单

· Hugging Face
教程模型卡

TorchNeuron 为 AWS Trainium 上的 PyTorch 带来了一个全新的原生后端。Transformers、Diffusers 和 Kernels 已对其提供原生支持,使得在 Trainium 上运行模型并将其分享到 Hugging Face Hub 变得前所未有的简单。

TorchNeuron

TorchNeuron 是一个 PyTorch 插件,为 Trainium 提供了一个全新的后端,支持 Eager 模式(动态图模式)、torch.compile 以及如 FSDP(完全分片数据并行)和 TP(张量并行)等原生分布式 API。阅读 PyTorch 官方博客以了解关于 TorchNeuron 的更多信息。

自 2026 年 10 月 20 日起,TorchNeuron 将开放公测(Public Beta)。研究人员与开发者可以通过 pip install torch-neuronx 进行安装。

HF 库中的全新后端与原生接口

到目前为止,在 AWS Trainium 和 Inferentia(分别专为大规模高性价比训练和推理而设计的 AI 芯片)上的 Hugging Face 使用体验主要是通过 optimum-neuron 来实现的。该库依赖于基于 PyTorch XLA 构建的 torch-neuronx 包。这在当时是顺理成章的选择,但也意味着开发者必须遵循编译器的思维方式:使用惰性张量(lazy tensors)而非即时执行(eager execution)、仅支持静态形状(static shapes)、每次遇到计算图中断(graph break)都需要重新编译。Optimum Neuron 的存在正是为了屏蔽这些复杂性,并为此维护了一套自定义代码(模型类、Trainer 等)。

TorchNeuron 改变了这一现状。它直接集成到 PyTorch 中,将 neuron 作为一个原生设备暴露出来,支持即时执行、PyTorch 自带的分布式原语(DTensor、FSDP2)以及 torch.compile。

对于 Hugging Face 各大库而言,Trainium 变成了一个与其他硬件无异的普通设备:Transformers、Diffusers、Accelerate、PEFT 和 TRL 均可直接在其上运行,使用你在其他硬件加速器上完全相同的类和脚本。从现在开始,我们建议 Neuron 用户直接使用这些官方库,而无需再通过 Optimum Neuron。

Transformers

推理

Transformers 现已对众多文本生成模型提供原生支持。借助 TorchNeuron,最常用的前 100 个文本生成模型架构中有 89% 可以开箱即用,而此前 Optimum Neuron v0.4.5 的支持率仅为 46%。你只需在代码中传入 device_map="neuron" 参数,模型就会自动加载到 Neuron 设备上。

以下是一个采用张量并行(Tensor Parallelism)进行文本生成的示例,可助你充分发挥 Neuron 实例的算力。请注意,生成时使用了静态缓存(static cache),这是在 Neuron 上极力推荐的做法,以避免频繁触发重新编译。

import os
import torch
import torch.distributed as dist
import torch_neuronx # noqa: F401
from torch.distributed import DeviceMesh
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
from transformers.distributed import DistributedConfig
from transformers.generation.configuration_utils import CompileConfig
MODEL_ID = "Qwen/Qwen3.8-27B"
MAX_SEQ_LEN = 1024
PREFILL_CHUNK_SIZE = 512
dist.init_process_group(backend="neuron")
world_size = dist.get_world_size()
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
dtype=torch.bfloat16,
distributed_config=DistributedConfig(tp_size=world_size),
device_mesh=DeviceMesh("neuron", list(range(world_size)))