许多机器学习从业者对于如何让模型快速运行都有一定的直觉,但较少有人知道如何分析模型为什么运行缓慢。在本系列的第一部分中,你将学习如何系统地分析推理性能,并找出时间具体消耗在哪里。
本文从零开始,不需要读者具备任何性能分析(profiling)经验。本教程基于 AWS Trainium(一款专为深度学习训练和推理负载打造的定制 AI 芯片)及其开源原生 PyTorch 后端 TorchNeuron。TorchNeuron 支持在 Trainium 上运行标准的 PyTorch 工作流,包括动态图执行(eager execution)、torch.compile 以及标准 PyTorch API,且只需极少的代码改动。此外,TorchNeuron 还集成了 Neuron 内核接口(NKI,Neuron Kernel Interface),以便为 Trainium 硬件开发自定义算子并进行性能优化。读完本文后,你将掌握:
- 如何配置带有 Neuron 后端的
torch.profiler并捕获整洁的追踪数据(trace)。 - 如何阅读
key_averages()表格,以识别哪些操作消耗了 Neuron 设备时间并对比它们的自身 CPU 时间(Self CPU time)。 - 如何在 Neuron Explorer 中跟踪单个操作的完整生命周期:从框架分发(framework dispatch)、运行时调度(runtime scheduling)直至在 NeuronCore 上的硬件执行。
- 同一操作的三种不同实现方式在这些指标信号上有何差异。
Neuron 作为 PyTorch 后端
在分析工作负载的性能之前,了解 Neuron 如何与 PyTorch 集成会很有帮助。
Neuron 后端使用了 PyTorch 的 PrivateUse1 扩展机制。该机制允许硬件加速器在无需添加专有分发键(dispatch key,如 cuda)的情况下集成到框架中。torch_neuronx 代码包与上游 PyTorch 协同工作,将 Neuron 注册为 PyTorch 代码的原生后端。有关该扩展机制的详细信息,请参阅通过 PrivateUse1 促进新后端集成。
设置分析器
分析 Neuron 工作负载时需要用到两个核心对象:
NeuronConfig:控制捕获哪些 Neuron 数据流和 NeuronCore,以及将输出写入何处。你需要将其作为experimental_config传递给torch.profiler.profile。NeuronProfiler:接收一个NeuronConfig并提供一个export_trace回调函数。该回调函数会将框架层的跟踪文件trace.json与 Neuron 系统跟踪数据一并写入。
nc = NeuronConfig( modes=[ProfileMode.DEVICE, ProfileMode.RUNTIME], profile_output_dir=OUTPUT_DIR, capture_enabled_for_nc='0', correlate_device_time=True,)exporter = NeuronProfiler(nc)其中 modes 参数用于选择要捕获的数据流,例如设备指令和运行时跟踪数据;capture_enabled_for_nc 参数用于指定要跟踪的 NeuronCore;设置 correlate_device_time=True 会将跟踪数据中的设备时间同步传递到 key_averages() 表格中,方便你直观对比 CPU 与 Neuron 的设备耗时。完整的参数说明以及所有可用的 ProfileMode 枚举值,请参阅 NeuronConfig Profile 模式文档。
工具:Neuron Explorer
Neuron Explorer 是一款基于浏览器的可视化工具,用于查看系统跟踪记录、设备时间线以及各引擎的细分耗时。你可以通过 SSH 隧道或 Visual Studio Code 扩展来访问它。在本文中,你将使用 Explorer 来核实 key_averages() 所报告的各项数值,并检查……