跳转到内容
主站 新闻 控制台

TorchNeuron 性能分析(一):AWS Trainium 系统级性能分析

· Hugging Face
教程模型卡

许多机器学习从业者对于如何让模型快速运行都有一定的直觉,但较少有人知道如何分析模型为什么运行缓慢。在本系列的第一部分中,你将学习如何系统地分析推理性能,并找出时间具体消耗在哪里。

本文从零开始,不需要读者具备任何性能分析(profiling)经验。本教程基于 AWS Trainium(一款专为深度学习训练和推理负载打造的定制 AI 芯片)及其开源原生 PyTorch 后端 TorchNeuron。TorchNeuron 支持在 Trainium 上运行标准的 PyTorch 工作流,包括动态图执行(eager execution)、torch.compile 以及标准 PyTorch API,且只需极少的代码改动。此外,TorchNeuron 还集成了 Neuron 内核接口(NKI,Neuron Kernel Interface),以便为 Trainium 硬件开发自定义算子并进行性能优化。读完本文后,你将掌握:

  • 如何配置带有 Neuron 后端的 torch.profiler 并捕获整洁的追踪数据(trace)。
  • 如何阅读 key_averages() 表格,以识别哪些操作消耗了 Neuron 设备时间并对比它们的自身 CPU 时间(Self CPU time)。
  • 如何在 Neuron Explorer 中跟踪单个操作的完整生命周期:从框架分发(framework dispatch)、运行时调度(runtime scheduling)直至在 NeuronCore 上的硬件执行。
  • 同一操作的三种不同实现方式在这些指标信号上有何差异。

Neuron 作为 PyTorch 后端

在分析工作负载的性能之前,了解 Neuron 如何与 PyTorch 集成会很有帮助。

Neuron 后端使用了 PyTorch 的 PrivateUse1 扩展机制。该机制允许硬件加速器在无需添加专有分发键(dispatch key,如 cuda)的情况下集成到框架中。torch_neuronx 代码包与上游 PyTorch 协同工作,将 Neuron 注册为 PyTorch 代码的原生后端。有关该扩展机制的详细信息,请参阅通过 PrivateUse1 促进新后端集成。


设置分析器

分析 Neuron 工作负载时需要用到两个核心对象:

  • NeuronConfig:控制捕获哪些 Neuron 数据流和 NeuronCore,以及将输出写入何处。你需要将其作为 experimental_config 传递给 torch.profiler.profile。
  • NeuronProfiler:接收一个 NeuronConfig 并提供一个 export_trace 回调函数。该回调函数会将框架层的跟踪文件 trace.json 与 Neuron 系统跟踪数据一并写入。
nc = NeuronConfig(
modes=[ProfileMode.DEVICE, ProfileMode.RUNTIME],
profile_output_dir=OUTPUT_DIR,
capture_enabled_for_nc='0',
correlate_device_time=True,
)
exporter = NeuronProfiler(nc)

其中 modes 参数用于选择要捕获的数据流,例如设备指令和运行时跟踪数据;capture_enabled_for_nc 参数用于指定要跟踪的 NeuronCore;设置 correlate_device_time=True 会将跟踪数据中的设备时间同步传递到 key_averages() 表格中,方便你直观对比 CPU 与 Neuron 的设备耗时。完整的参数说明以及所有可用的 ProfileMode 枚举值,请参阅 NeuronConfig Profile 模式文档。


工具:Neuron Explorer

Neuron Explorer 是一款基于浏览器的可视化工具,用于查看系统跟踪记录、设备时间线以及各引擎的细分耗时。你可以通过 SSH 隧道或 Visual Studio Code 扩展来访问它。在本文中,你将使用 Explorer 来核实 key_averages() 所报告的各项数值,并检查……