跳转到内容
主站 新闻 控制台

Hugging Face ❤️ TorchTPU:原生支持 TPU

· Hugging Face
教程模型卡

Hugging Face 吉祥物与微笑着的 PyTorch 标志在发光芯片旁欢呼,背景为漫画风格。

如果你曾尝试在 TPU 上运行 PyTorch,你很可能需要将代码移植到 torch_xla,或者最终不得不去学习 JAX。借助原生 PyTorch 后端 TorchTPU,TPU 现在不过是又一个常规设备。它开启了 Hugging Face 生态对 TPU 的原生支持。Transformers、Diffusers 和 Kernels 现已可以在 TPU 上原生运行。只需从 Hub 中挑选一个模型,将其发送到 "tpu",大功告成。

等等,什么是 TPU?🤔

TPU 代表张量处理单元(Tensor Processing Unit)。TPU 是 Google 自研的 AI 加速芯片。它们专为单一任务而生:执行神经网络大部分时间都在处理的矩阵数学运算。Google 研发这类芯片已有大约十年,并用它们来训练和服务自家模型,包括 Gemini。

TPU 可在 Google Cloud 上使用,规模涵盖从单颗芯片到包含数千颗芯片的 Pod 集群。当你需要大量计算资源来进行训练或大规模推理服务时,它们便能大显身手。

而以往的短板始终在于软件。TPU 的软件栈最初是围绕 TensorFlow 和 JAX 构建的,PyTorch 用户想要使用就得费一番周折。

以往的方式

在此之前,在 TPU 上运行 PyTorch 意味着必须通过 PyTorch/XLA(torch_xla)。它确实能工作,但也有不少痛点。张量是惰性求值的(是张量惰性,不是你),因此你的代码并不总是在你预期的时刻运行。细微的改动都可能触发计算图重新编译(graph recompilation),调试起来难以捉摸。

为了让使用更简单,我们构建了 Optimum TPU,为 Hugging Face 模型在 TPU 上的推理与训练提供支持。如今随着 TorchTPU 带来了原生支持,使用 Transformers 和 Diffusers 运行 Hugging Face 模型已不再需要 Optimum TPU。

TorchTPU 登场 🚀

TorchTPU 为 PyTorch 添加了一个全新的 TPU 后端。你可以直接编写常规的 PyTorch 代码。它附带针对 TPU 调优的 Pallas 内核(kernels)、支持分布式训练,并集成了用于进一步提速的 torch.compile。在 TPU 虚拟机(TPU VM)上只需一条命令即可完成安装:

Terminal window
pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu

这个额外的 index 会为你安装 CPU 版本的 torch。如果不加此项,pip 会拉取体积庞大得多的 CUDA 版本,而在 TPU 上你根本不需要它。

你喜爱的库,现已支持 TPU

Transformers

Transformers v5 的构建基于一个理念:成为模型定义的单一事实来源(source of truth),使其能够在任何地方运行。这里的“任何地方”现在也包括了 TPU。要在 TPU 上加载模型,只需传入 device_map="tpu",仅此而已。

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Qwen/Qwen3.5-9B"
model = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="tpu", # 将模型直接加载到 TPU 上
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer("The future of AI is", return_tensors="pt").to("tpu")
out = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.decode(out[0], skip_special_tokens=True))

模型默认以动态图模式(eager mode)运行。你也可以使用 torch.compile 来获得更好的性能,或者在分布式环境中运行。