1. 從“import torch”開始一次執(zhí)行流程的宏觀漫游當(dāng)你寫下import torch這行代碼并按下回車時(shí)你的 Python 解釋器背后究竟發(fā)生了什么這遠(yuǎn)不止是加載一個(gè)模塊那么簡單。對(duì)于大多數(shù)使用者而言PyTorch 是一個(gè)提供張量計(jì)算和自動(dòng)求導(dǎo)的“黑箱”但當(dāng)你需要深入性能優(yōu)化、定制算子、或者僅僅是好奇這個(gè)龐大的框架如何運(yùn)作時(shí)理解其執(zhí)行流程與編譯原理就變得至關(guān)重要。這不僅僅是源碼閱讀更像是一次對(duì)現(xiàn)代深度學(xué)習(xí)框架核心引擎的逆向工程。無論你是想解決一個(gè)詭異的 CUDA 內(nèi)存錯(cuò)誤還是希望將自定義的 C/CUDA 內(nèi)核無縫集成到 PyTorch 的生態(tài)中亦或是想理解動(dòng)態(tài)圖eager execution與靜態(tài)圖graph execution是如何共存的這次探索都將為你提供一張清晰的“地圖”。本文的目標(biāo)讀者是那些已經(jīng)熟悉 PyTorch 基礎(chǔ) API、有過實(shí)際項(xiàng)目經(jīng)驗(yàn)并希望向框架底層邁進(jìn)的開發(fā)者。我們將避開淺嘗輒止的 API 介紹直接切入核心從 Python 到 C 的調(diào)用鏈路、動(dòng)態(tài)計(jì)算圖的構(gòu)建與執(zhí)行、以及最終如何通過 TorchDynamo、TorchInductor 等新一代編譯器技術(shù)將 Python 代碼轉(zhuǎn)化為高效的機(jī)器碼。你會(huì)發(fā)現(xiàn)PyTorch 的“靈活”與“高效”并非魔法而是一系列精妙設(shè)計(jì)的必然結(jié)果。讓我們從一個(gè)最簡單的加法操作開始揭開這層層帷幕。2. 動(dòng)態(tài)圖執(zhí)行的核心torch.add的微觀世界我們從一個(gè)最基礎(chǔ)的例子開始c torch.add(a, b)。在 eager 模式下這行代碼會(huì)立即執(zhí)行并返回結(jié)果。這個(gè)過程看似簡單實(shí)則涉及了從 Python 到 C 的多層分發(fā)與計(jì)算。2.1 Python 層的薄封裝與分發(fā)在torch/__init__.py中add函數(shù)實(shí)際上是一個(gè)綁定。當(dāng)你調(diào)用torch.add時(shí)你調(diào)用的是torch._C._VariableFunctions模塊中的一個(gè)函數(shù)。這個(gè)模塊是由 PyTorch 的 C 代碼在編譯時(shí)通過 PyBind11 自動(dòng)生成并暴露給 Python 的。PyBind11 是一個(gè)用于在 C 和 Python 之間創(chuàng)建無縫綁定的庫它負(fù)責(zé)處理類型轉(zhuǎn)換、引用計(jì)數(shù)等繁瑣細(xì)節(jié)。那么參數(shù)a和b是如何傳遞下去的呢在 Python 層torch.add會(huì)對(duì)輸入?yún)?shù)進(jìn)行初步的檢查和包裝。例如它會(huì)檢查輸入是否為Tensor類型如果不是可能會(huì)嘗試進(jìn)行轉(zhuǎn)換如將 Python 標(biāo)量或列表轉(zhuǎn)換為 Tensor。更重要的是它會(huì)處理out、dtype等關(guān)鍵字參數(shù)。完成這些預(yù)處理后真正的計(jì)算調(diào)用被分發(fā)到 C 后端。注意這里有一個(gè)常見的誤解認(rèn)為 Python 層的開銷巨大。實(shí)際上對(duì)于像張量加法這樣的操作Python 層的開銷參數(shù)檢查、分發(fā)與后續(xù) C/CUDA 核心計(jì)算的開銷相比是微不足道的。性能瓶頸幾乎總是在計(jì)算本身或數(shù)據(jù)搬運(yùn)上。2.2 C 內(nèi)核的派發(fā)Dispatch 機(jī)制這是 PyTorch 執(zhí)行流程中最精妙的部分之一。C 端的add函數(shù)并不是一個(gè)單一的、龐大的函數(shù)。相反它通過一套稱為“Dispatcher”的機(jī)制根據(jù)輸入張量的設(shè)備CPU、CUDA、數(shù)據(jù)類型float32、int64等、布局dense、sparse以及其他屬性動(dòng)態(tài)地選擇最合適的“內(nèi)核”來執(zhí)行計(jì)算。這個(gè)派發(fā)過程可以簡化為計(jì)算派發(fā)鍵根據(jù)輸入張量的屬性設(shè)備、數(shù)據(jù)類型、布局生成一個(gè)唯一的鍵。查找內(nèi)核表在一個(gè)全局注冊(cè)的內(nèi)核表中查找與該鍵對(duì)應(yīng)的具體函數(shù)實(shí)現(xiàn)。執(zhí)行內(nèi)核調(diào)用找到的內(nèi)核函數(shù)執(zhí)行實(shí)際的加法運(yùn)算。例如torch.add(a_cpu_float, b_cpu_float)會(huì)派發(fā)到為 CPU 和 float32 數(shù)據(jù)類型優(yōu)化的內(nèi)核而torch.add(a_cuda_half, b_cuda_half)則會(huì)派發(fā)到完全不同的、為 NVIDIA GPU 和半精度浮點(diǎn)數(shù)優(yōu)化的 CUDA 內(nèi)核。這套機(jī)制使得 PyTorch 能夠支持極其豐富的后端和數(shù)據(jù)類型組合而代碼結(jié)構(gòu)依然保持清晰。內(nèi)核本身是用 C 或 CUDA 編寫的并大量使用了向量化指令如 CPU 的 AVX2/AVX-512GPU 的 warp-level 操作來最大化硬件利用率。對(duì)于加法這樣的逐元素操作內(nèi)核通常會(huì)循環(huán)遍歷張量的所有元素應(yīng)用標(biāo)量加法。為了提高性能循環(huán)會(huì)被展開并利用內(nèi)存連續(xù)訪問的特性。2.3 自動(dòng)求導(dǎo)的介入Autograd與Function如果a和b是設(shè)置了requires_gradTrue的張量那么故事就變得更加復(fù)雜。torch.add不僅會(huì)計(jì)算數(shù)值結(jié)果還會(huì)在背后默默地構(gòu)建一個(gè)用于反向傳播的計(jì)算圖節(jié)點(diǎn)。這個(gè)過程由torch.autograd.Function類體系支撐。每個(gè)可微的操作如add、mm在 C 端都有一個(gè)對(duì)應(yīng)的AutogradFunction子類。當(dāng)在啟用梯度追蹤的上下文中執(zhí)行add時(shí)前向傳播派發(fā)機(jī)制會(huì)選擇并執(zhí)行帶有自動(dòng)求導(dǎo)邏輯的內(nèi)核。這個(gè)內(nèi)核在計(jì)算完輸出張量c后會(huì)創(chuàng)建一個(gè)Edge對(duì)象記錄這個(gè)操作即AddBackward以及其輸入張量a和b。創(chuàng)建梯度邊輸出張量c的.grad_fn屬性會(huì)被設(shè)置為這個(gè)AddBackward函數(shù)的實(shí)例。這個(gè)grad_fn保存了執(zhí)行反向傳播所需的所有信息指向輸入張量的引用用于計(jì)算梯度、以及反向傳播函數(shù)本身。構(gòu)建動(dòng)態(tài)圖通過張量之間的grad_fn引用一個(gè)動(dòng)態(tài)的、有向無環(huán)圖DAG就被隱式地構(gòu)建起來。這個(gè)圖在前向傳播執(zhí)行完畢后即告完成它完整記錄了從輸入到輸出的計(jì)算路徑。import torch a torch.tensor([1.0], requires_gradTrue) b torch.tensor([2.0], requires_gradTrue) c torch.add(a, b) # 此時(shí)c.grad_fn 是一個(gè) AddBackward0 object print(c.grad_fn) # 輸出類似AddBackward0 object at 0x... print(c.grad_fn.next_functions) # 可以看到它連接到 a 和 b 的梯度函數(shù)當(dāng)你后續(xù)調(diào)用c.backward()時(shí)autograd引擎會(huì)沿著這個(gè)圖從c.grad_fn開始依次調(diào)用每個(gè)節(jié)點(diǎn)的.backward()方法將梯度一直傳播到葉子張量a和b。3. 從動(dòng)態(tài)圖到靜態(tài)圖JIT 與 TorchScript 的編譯之路動(dòng)態(tài)圖提供了無與倫比的靈活性和調(diào)試便利性但它的運(yùn)行時(shí)開銷Python 解釋、動(dòng)態(tài)派發(fā)、圖構(gòu)建在模型部署或追求極致性能時(shí)成為瓶頸。PyTorch 的解決方案是TorchScript一種將 PyTorch 代碼轉(zhuǎn)換為靜態(tài)計(jì)算圖表示一種中間表示IR的編譯器。3.1 TorchScript 的兩種創(chuàng)作方式有兩種主要方式將代碼轉(zhuǎn)換為 TorchScript追蹤使用torch.jit.trace。你提供一個(gè)模型實(shí)例和一個(gè)示例輸入PyTorch 會(huì)執(zhí)行一次前向傳播并“追蹤”所有執(zhí)行的操作將其記錄為一個(gè)靜態(tài)圖。這個(gè)圖是具體化的它固定了在示例輸入上執(zhí)行的操作序列。def foo(x, y): return torch.add(x, y) traced_foo torch.jit.trace(foo, (torch.rand(3), torch.rand(3))) print(traced_foo.graph) # 打印出靜態(tài)計(jì)算圖局限追蹤只記錄實(shí)際執(zhí)行的控制流。如果你的函數(shù)中有條件判斷如if x.sum() 0:而示例輸入只走了其中一條分支那么生成的圖就缺失了另一條分支的邏輯。這對(duì)于依賴輸入數(shù)據(jù)的控制流不友好。腳本化使用torch.jit.script。它直接分析你的 Python 函數(shù)或模塊的源代碼并將其編譯成 TorchScript。這種方式可以捕獲完整的數(shù)據(jù)依賴控制流。torch.jit.script def bar(x, y): if x.sum() y.sum(): return x y else: return x - y優(yōu)勢(shì)能處理復(fù)雜的控制流。挑戰(zhàn)它需要支持 Python 語言的一個(gè)子集并非所有 Python 特性都能被編譯例如某些動(dòng)態(tài)類型特性、復(fù)雜的裝飾器。3.2 靜態(tài)圖的內(nèi)部表示與優(yōu)化無論是追蹤還是腳本化最終都會(huì)生成一個(gè)TorchScript IR Graph。這個(gè)圖由一系列節(jié)點(diǎn)Node和邊Edge組成。節(jié)點(diǎn)代表操作如aten::addaten::mm邊代表張量數(shù)據(jù)流。生成 IR 圖后TorchScript 編譯器會(huì)對(duì)其進(jìn)行一系列優(yōu)化這些優(yōu)化在動(dòng)態(tài)圖模式下是無法進(jìn)行的因?yàn)閯?dòng)態(tài)圖每次執(zhí)行都可能不同。常見的優(yōu)化包括常量折疊將圖中可以預(yù)先計(jì)算出的常量表達(dá)式直接替換為計(jì)算結(jié)果。算子融合將多個(gè)連續(xù)的操作如conv - relu - batch_norm融合成一個(gè)單獨(dú)的操作減少內(nèi)核啟動(dòng)開銷和中間結(jié)果的存儲(chǔ)。死代碼消除移除圖中永遠(yuǎn)不會(huì)被執(zhí)行到的部分。公共子表達(dá)式消除識(shí)別并合并圖中重復(fù)的計(jì)算。優(yōu)化后的圖可以被序列化保存為.pt文件完全脫離 Python 環(huán)境運(yùn)行。這就是 PyTorch 模型部署到 C 環(huán)境如 LibTorch的基礎(chǔ)。運(yùn)行時(shí)TorchScript 有一個(gè)輕量級(jí)的解釋器來執(zhí)行這個(gè)優(yōu)化后的圖避免了 Python 全局解釋器鎖GIL和動(dòng)態(tài)派發(fā)的開銷。4. 新一代編譯器TorchDynamo 與 TorchInductor 如何革新執(zhí)行流程盡管 TorchScript 功能強(qiáng)大但其“要么全部腳本化要么不腳本化”的模式以及對(duì) Python 語法的限制給開發(fā)者帶來了額外的負(fù)擔(dān)。PyTorch 2.0 引入的TorchDynamo和TorchInductor代表了另一種更激進(jìn)、更用戶友好的編譯思路。4.1 TorchDynamo動(dòng)態(tài)捕獲計(jì)算圖TorchDynamo 的核心創(chuàng)新在于它在運(yùn)行時(shí)Just-In-Time動(dòng)態(tài)地捕獲計(jì)算圖。它不是一個(gè)傳統(tǒng)的源代碼編譯器而是一個(gè) CPython 解釋器的插件。它利用 Python 的幀評(píng)估 API在函數(shù)每次被執(zhí)行時(shí)攔截并檢查其字節(jié)碼。它的工作流程如下字節(jié)碼分析與守衛(wèi)當(dāng)用torch.compile裝飾一個(gè)函數(shù)時(shí)TorchDynamo 會(huì)開始工作。它分析該函數(shù)的字節(jié)碼識(shí)別出其中所有對(duì) PyTorch 張量進(jìn)行操作的部分。對(duì)于涉及 Python 控制流或外部狀態(tài)的部分它會(huì)插入“守衛(wèi)”。守衛(wèi)是運(yùn)行時(shí)檢查用于驗(yàn)證某些條件是否與圖捕獲時(shí)一致例如某個(gè)變量的類型是否還是torch.Tensor。圖捕獲當(dāng)函數(shù)執(zhí)行且所有守衛(wèi)都通過時(shí)TorchDynamo 會(huì)將這些 PyTorch 操作提取出來并將其編譯成一個(gè)FX Graph。FX 是 PyTorch 的一個(gè)用于程序變換的工具包它提供了比 TorchScript IR 更接近 Python 語義的圖表示。緩存與復(fù)用生成的 FX Graph 會(huì)被緩存起來。下次用相同的守衛(wèi)條件調(diào)用該函數(shù)時(shí)就可以直接復(fù)用這個(gè)編譯好的圖跳過 Python 字節(jié)碼的解釋執(zhí)行。如果守衛(wèi)失敗例如輸入張量的形狀變了TorchDynamo 會(huì)回退到原始的 Python 執(zhí)行路徑并嘗試捕獲一個(gè)新的圖。這種方法的最大優(yōu)點(diǎn)是透明性。用戶幾乎不需要修改代碼就能獲得編譯加速的好處。它優(yōu)雅地處理了 Python 的動(dòng)態(tài)特性將“靜態(tài)化”的負(fù)擔(dān)從開發(fā)者轉(zhuǎn)移到了編譯器。4.2 TorchInductor從 FX Graph 到高效內(nèi)核代碼TorchDynamo 負(fù)責(zé)捕獲圖而TorchInductor則負(fù)責(zé)將捕獲到的 FX Graph 編譯成高效的底層內(nèi)核代碼。它是 PyTorch 2.x 默認(rèn)的深度學(xué)習(xí)編譯器后端。TorchInductor 的編譯流程是一個(gè)多層次的 lowering 過程FX Graph - IR首先將 FX Graph 轉(zhuǎn)換為 TorchInductor 自己的中間表示這個(gè) IR 是面向循環(huán)和并行優(yōu)化的。循環(huán)優(yōu)化與調(diào)度在這個(gè)層級(jí)編譯器會(huì)進(jìn)行循環(huán)融合、平鋪、向量化等高級(jí)優(yōu)化。它會(huì)嘗試將多個(gè)逐元素操作融合到同一個(gè)循環(huán)體中以減少內(nèi)存訪問和循環(huán)開銷。代碼生成優(yōu)化后的 IR 會(huì)被 lowering 到具體的后端代碼。對(duì)于 CPU它主要生成 C 代碼并大量使用#pragma omp進(jìn)行多線程并行以及利用編譯器自動(dòng)向量化或顯式使用 SIMD 內(nèi)在函數(shù)。對(duì)于 GPU它生成Triton代碼。Triton 是 OpenAI 開發(fā)的一種類 Python 的 GPU 編程語言和編譯器它讓編寫高效的 GPU 內(nèi)核變得像寫 NumPy 一樣簡單。TorchInductor 將計(jì)算模式描述為 Triton 內(nèi)核然后由 Triton 編譯器將其編譯為高度優(yōu)化的 PTXCUDA 匯編代碼。編譯與調(diào)用生成的 C 或 Triton 代碼被即時(shí)編譯JIT成共享庫然后被加載回 Python 進(jìn)程。當(dāng)編譯后的函數(shù)被調(diào)用時(shí)執(zhí)行的就是這些本地代碼速度遠(yuǎn)超原始的 Python 解釋執(zhí)行。實(shí)測(cè)下來對(duì)于許多模型特別是由大量小操作組成的模型torch.compile能帶來顯著的性能提升通常有 1.2x 到 2x 的加速而開發(fā)者需要做的僅僅是在模型定義外包裹一個(gè)裝飾器。5. 構(gòu)建系統(tǒng)與鏈接PyTorch 源碼編譯淺析要真正理解執(zhí)行流程有時(shí)不得不深入到構(gòu)建層面。PyTorch 采用 CMake 作為其跨平臺(tái)的構(gòu)建系統(tǒng)生成器并輔以大量的自定義 Python 腳本setup.py,tools/目錄下的腳本來管理復(fù)雜的依賴和編譯選項(xiàng)。5.1 核心組件與依賴關(guān)系PyTorch 的代碼庫是模塊化的主要分為以下幾個(gè)部分ATen (A Tensor Library)這是 PyTorch 的核心張量運(yùn)算庫用 C 編寫。幾乎所有你調(diào)用的張量操作最終都會(huì)落到 ATen 上。它提供了 CPU 和 CUDA 后端的基礎(chǔ)實(shí)現(xiàn)。C10 (Caffe2 A-Ten)一個(gè)核心的實(shí)用程序庫提供了 Dispatcher、智能指針、日志記錄、同步原語等基礎(chǔ)設(shè)施。你可以把它看作是 ATen 和 PyTorch 其他部分共同依賴的“基石”。Torch這是 PyTorch 的 Python 前端。torch模塊的代碼主要在這里。它通過 PyBind11 將 ATen/C10 的 C API 暴露給 Python。Autograd自動(dòng)求導(dǎo)引擎的實(shí)現(xiàn)緊密集成在 ATen 中為張量操作提供梯度計(jì)算能力。第三方庫如 CUDA、cuDNN、MKL、OneDNN 等用于加速特定硬件上的計(jì)算。編譯過程大致是首先配置 CMake確定要構(gòu)建的后端CPU, CUDA, ROCm等和功能。然后編譯 ATen/C10 核心庫接著編譯綁定代碼和 Python 擴(kuò)展模塊最后將所有部分鏈接在一起。5.2 自定義算子開發(fā)與集成理解編譯原理的終極實(shí)踐之一就是開發(fā)自定義算子。PyTorch 提供了幾種方式使用torch.autograd.Function純 Python 實(shí)現(xiàn)適合簡單、非性能關(guān)鍵的操作。使用cpp_extension這是最常用的方式。你可以用 C 和 CUDA 編寫算子的前向和反向傳播實(shí)現(xiàn)然后通過setup.py或load方法在運(yùn)行時(shí)將其編譯并加載為 Python 模塊。from torch.utils.cpp_extension import load my_extension load(namemy_ops, sources[my_ops.cpp, my_ops_kernel.cu])背后cpp_extension會(huì)調(diào)用系統(tǒng)的編譯器如nvcc和g將你的代碼編譯成動(dòng)態(tài)鏈接庫.so或.pyd并處理好與 PyTorch C 庫的鏈接。集成到 PyTorch 源碼樹對(duì)于更深度、更官方的集成你可以將算子的 C/CUDA 實(shí)現(xiàn)放在aten/src/ATen/native/目錄下并修改相應(yīng)的注冊(cè)文件。這需要你能夠完整地編譯 PyTorch 源碼。無論哪種方式關(guān)鍵步驟都是算子注冊(cè)。你需要使用TORCH_LIBRARY宏或Dispatch機(jī)制將你的算子實(shí)現(xiàn)注冊(cè)到 PyTorch 的全局派發(fā)表中這樣當(dāng) Python 調(diào)用torch.my_custom_op時(shí)派發(fā)器才能找到并執(zhí)行你的內(nèi)核。6. 實(shí)戰(zhàn)中的調(diào)試與性能剖析技巧理論最終要服務(wù)于實(shí)踐。當(dāng)你基于對(duì)執(zhí)行流程的理解進(jìn)行調(diào)試或優(yōu)化時(shí)以下工具和技巧會(huì)非常有用。6.1 可視化計(jì)算圖理解模型實(shí)際執(zhí)行的操作序列可視化是最佳途徑。torchviz結(jié)合make_dot函數(shù)可以生成動(dòng)態(tài)計(jì)算圖的可視化清晰展示張量、操作和梯度函數(shù)之間的關(guān)系非常適合調(diào)試自動(dòng)求導(dǎo)問題。from torchviz import make_dot # ... 執(zhí)行前向傳播 ... make_dot(c, paramsdict(list(model.named_parameters()))).render(graph, formatpng)TensorBoard 的add_graphPyTorch 與 TensorBoard 集成良好可以將模型的計(jì)算圖添加到 TensorBoard 中進(jìn)行交互式查看。TorchScript 的graph屬性對(duì)于腳本化或追蹤后的模塊直接打印.graph屬性可以看到文本形式的 IR 圖。6.2 性能分析工具定位性能瓶頸需要專業(yè)的工具。PyTorch Profiler這是官方首推的性能分析工具。它可以記錄 CPU、GPU 上的操作時(shí)間、內(nèi)存消耗、內(nèi)核執(zhí)行情況等并以 Chrome Tracing 格式或 TensorBoard 插件形式呈現(xiàn)。with torch.profiler.profile( activities[torch.profiler.ProfilerActivity.CPU, torch.profiler.ProfilerActivity.CUDA], on_trace_readytorch.profiler.tensorboard_trace_handler(./log) ) as prof: # 運(yùn)行你的模型或代碼 model(inputs)在 TensorBoard 中打開./log目錄你可以看到一個(gè)時(shí)間線視圖清楚地看到每個(gè)算子的執(zhí)行時(shí)長、CPU/GPU 的等待時(shí)間從而找到熱點(diǎn)。cProfile與line_profiler對(duì)于分析純 Python 端的開銷如圖捕獲、數(shù)據(jù)加載邏輯這些通用 Python 分析器仍然有效。Nsight Systems和Nsight Compute這是 NVIDIA 提供的系統(tǒng)級(jí)和內(nèi)核級(jí)性能分析工具功能極其強(qiáng)大。當(dāng) Profiler 顯示某個(gè) CUDA 內(nèi)核耗時(shí)很長時(shí)可以用 Nsight Compute 深入分析該內(nèi)核的占用率、內(nèi)存帶寬利用率等進(jìn)行微觀優(yōu)化。6.3 內(nèi)存問題排查CUDA 內(nèi)存錯(cuò)誤是深度學(xué)習(xí)開發(fā)中的?？?。torch.cuda.memory_summary()和torch.cuda.memory_allocated()在代碼中關(guān)鍵位置打印內(nèi)存統(tǒng)計(jì)信息幫助定位內(nèi)存泄漏或異常增長。CUDA 異步錯(cuò)誤CUDA 內(nèi)核執(zhí)行是異步的。當(dāng)出現(xiàn)“CUDA error: device-side assert triggered”這類錯(cuò)誤時(shí)真正的錯(cuò)誤可能發(fā)生在更早的時(shí)間點(diǎn)。使用CUDA_LAUNCH_BLOCKING1環(huán)境變量可以強(qiáng)制內(nèi)核同步執(zhí)行使錯(cuò)誤報(bào)告更準(zhǔn)確。梯度累積與.detach()在訓(xùn)練循環(huán)中如果不及時(shí)將中間變量從計(jì)算圖中分離.detach()或清零梯度可能會(huì)導(dǎo)致計(jì)算圖不斷膨脹最終耗盡內(nèi)存。確保你的訓(xùn)練循環(huán)符合標(biāo)準(zhǔn)范式。理解 PyTorch 的執(zhí)行流程與編譯原理就像獲得了一把打開深度學(xué)習(xí)框架黑箱的鑰匙。它讓你從被動(dòng)的 API 調(diào)用者轉(zhuǎn)變?yōu)槟軌蝾A(yù)測(cè)、診斷甚至定制框架行為的主動(dòng)開發(fā)者。當(dāng)你在面對(duì)一個(gè)棘手的性能問題或試圖壓榨硬件最后一滴算力時(shí)這份深入底層的認(rèn)知將成為你最有力的工具。記住最好的學(xué)習(xí)方式是在實(shí)踐中結(jié)合理論嘗試去 trace 一個(gè)簡單模型看看它的圖用 profiler 分析一下自己項(xiàng)目的瓶頸或者動(dòng)手實(shí)現(xiàn)一個(gè)最簡單的自定義算子。這個(gè)過程本身就是對(duì) PyTorch 這座宏偉建筑最深刻的致敬。