TorchNeuron 为 AWS Trainium 上的 PyTorch 带来了一个全新的原生后端。Transformers、Diffusers 和 Kernels 已对其提供原生支持,使得在 Trainium 上运行模型并将其分享到 Hugging Face Hub 变得前所未有的简单。
TorchNeuron
TorchNeuron 是一个 PyTorch 插件,为 Trainium 提供了一个全新的后端,支持 Eager 模式(动态图模式)、torch.compile 以及如 FSDP(完全分片数据并行)和 TP(张量并行)等原生分布式 API。阅读 PyTorch 官方博客以了解关于 TorchNeuron 的更多信息。
自 2026 年 10 月 20 日起,TorchNeuron 将开放公测(Public Beta)。研究人员与开发者可以通过 pip install torch-neuronx 进行安装。
HF 库中的全新后端与原生接口
到目前为止,在 AWS Trainium 和 Inferentia(分别专为大规模高性价比训练和推理而设计的 AI 芯片)上的 Hugging Face 使用体验主要是通过 optimum-neuron 来实现的。该库依赖于基于 PyTorch XLA 构建的 torch-neuronx 包。这在当时是顺理成章的选择,但也意味着开发者必须遵循编译器的思维方式:使用惰性张量(lazy tensors)而非即时执行(eager execution)、仅支持静态形状(static shapes)、每次遇到计算图中断(graph break)都需要重新编译。Optimum Neuron 的存在正是为了屏蔽这些复杂性,并为此维护了一套自定义代码(模型类、Trainer 等)。
TorchNeuron 改变了这一现状。它直接集成到 PyTorch 中,将 neuron 作为一个原生设备暴露出来,支持即时执行、PyTorch 自带的分布式原语(DTensor、FSDP2)以及 torch.compile。
对于 Hugging Face 各大库而言,Trainium 变成了一个与其他硬件无异的普通设备:Transformers、Diffusers、Accelerate、PEFT 和 TRL 均可直接在其上运行,使用你在其他硬件加速器上完全相同的类和脚本。从现在开始,我们建议 Neuron 用户直接使用这些官方库,而无需再通过 Optimum Neuron。
Transformers
推理
Transformers 现已对众多文本生成模型提供原生支持。借助 TorchNeuron,最常用的前 100 个文本生成模型架构中有 89% 可以开箱即用,而此前 Optimum Neuron v0.4.5 的支持率仅为 46%。你只需在代码中传入 device_map="neuron" 参数,模型就会自动加载到 Neuron 设备上。
以下是一个采用张量并行(Tensor Parallelism)进行文本生成的示例,可助你充分发挥 Neuron 实例的算力。请注意,生成时使用了静态缓存(static cache),这是在 Neuron 上极力推荐的做法,以避免频繁触发重新编译。
import os
import torchimport torch.distributed as distimport torch_neuronx # noqa: F401from torch.distributed import DeviceMeshfrom transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfigfrom transformers.distributed import DistributedConfigfrom transformers.generation.configuration_utils import CompileConfig
MODEL_ID = "Qwen/Qwen3.8-27B"MAX_SEQ_LEN = 1024PREFILL_CHUNK_SIZE = 512
dist.init_process_group(backend="neuron")world_size = dist.get_world_size()
model = AutoModelForCausalLM.from_pretrained( MODEL_ID, dtype=torch.bfloat16, distributed_config=DistributedConfig(tp_size=world_size), device_mesh=DeviceMesh("neuron", list(range(world_size)))