![[特殊字符] Transformers 中的 Dilated Neighborhood Attention Transformer（DiNAT）：架構(gòu)原理、配置詳解與實(shí)戰(zhàn)使用指南](http://pic.xiahunao.cn/yaotu/[特殊字符] Transformers 中的 Dilated Neighborhood Attention Transformer（DiNAT）：架構(gòu)原理、配置詳解與實(shí)戰(zhàn)使用指南)
Transformers 中的 Dilated Neighborhood Attention TransformerDiNAT架構(gòu)原理、配置詳解與實(shí)戰(zhàn)使用指南【免費(fèi)下載鏈接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/tra/transformers導(dǎo)讀DiNATDilated Neighborhood Attention Transformer擴(kuò)張近鄰注意力 Transformer是 Transformers 中收錄的一種分層視覺(jué) Transformer它通過(guò)引入擴(kuò)張近鄰注意力DiNA模式在保持局部注意力低計(jì)算成本的同時(shí)捕獲全局上下文、指數(shù)級(jí)擴(kuò)展感受野。本文以倉(cāng)庫(kù)內(nèi) DiNAT 文檔及對(duì)應(yīng)的 英文文檔為核心結(jié)合 configuration_dinat.py 與 modeling_dinat.py 的源碼實(shí)現(xiàn)系統(tǒng)講解 DiNAT 的模型原理、NATTEN 依賴(lài)環(huán)境、DinatConfig全部配置參數(shù)、DinatModel/DinatForImageClassification/DinatBackbone三類(lèi)模型的用法以及將其作為圖像分類(lèi)與下游視覺(jué)任務(wù)骨干網(wǎng)絡(luò)backbone的完整實(shí)戰(zhàn)方案。讀完本文你將能夠獨(dú)立安裝依賴(lài)、加載與微調(diào) DiNAT 模型并理解其局部 稀疏全局混合注意力的設(shè)計(jì)邏輯。一、模型概述從 NAT 到 DiNATDiNAT 由 Ali Hassani 與 Humphrey Shi 在論文《Dilated Neighborhood Attention Transformer》中提出論文于 2022-09-29 發(fā)布模型于 2022-11-18 貢獻(xiàn)進(jìn)本倉(cāng)庫(kù)見(jiàn) 英文文檔 開(kāi)頭說(shuō)明。它是 NATNeighborhood Attention Transformer 的直接擴(kuò)展在 NAT 的基礎(chǔ)上加入擴(kuò)張近鄰注意力Dilated Neighborhood Attention, DiNA模式用于捕獲全局上下文并在 NAT 基礎(chǔ)上取得了顯著的性能提升。論文摘要中闡述了這一設(shè)計(jì)動(dòng)機(jī)視覺(jué)領(lǐng)域的 Transformer 通常采用局部注意力機(jī)制如滑窗近鄰注意力 NA、Swin Transformer 的移位窗口自注意力來(lái)削減自注意力的二次復(fù)雜度但局部注意力同時(shí)弱化了自注意力最可貴的兩個(gè)特性——長(zhǎng)距離相互依賴(lài)建模與全局感受野。DiNA 作為 NA 的一種自然、靈活且高效的擴(kuò)展可以捕獲更多全局上下文并在零額外成本的前提下從零開(kāi)始指數(shù)級(jí)擴(kuò)展感受野NA 的局部注意力與 DiNA 的稀疏全局注意力相互補(bǔ)充二者共同構(gòu)成 DiNAT 這一新型分層視覺(jué) Transformer。論文中報(bào)告DiNAT 各變體相比 NAT、Swin、ConvNeXt 等強(qiáng)基線(xiàn)有顯著改進(jìn)。其大模型在 COCO 目標(biāo)檢測(cè)上比對(duì)應(yīng)的 Swin 模型更快且 box AP 領(lǐng)先 1.5%COCO 實(shí)例分割 mask AP 領(lǐng)先 1.3%ADE20K 語(yǔ)義分割 mIoU 領(lǐng)先 1.1%。配合新框架后其大模型在 COCO58.2 PQ與 ADE20K48.5 PQ上成為全景分割新 SOTA在 Cityscapes44.5 AP與 ADE20K35.4 AP上無(wú)額外數(shù)據(jù)刷新實(shí)例分割記錄并追平 ADE20K 上專(zhuān)用語(yǔ)義分割模型的 SOTA58.2 mIoU。以上均為論文報(bào)告的實(shí)驗(yàn)結(jié)果。文檔中展示的不同擴(kuò)張值下的近鄰注意力示意圖不同擴(kuò)張值對(duì)應(yīng)的注意力采樣區(qū)域直觀說(shuō)明了這一思想當(dāng) dilation 為 1 時(shí)注意力覆蓋緊鄰的kernel_size × kernel_size窗口隨著 dilation 增大參與計(jì)算的 token 彼此間距拉大形成稀疏但覆蓋范圍更廣的全局采樣模式。二、架構(gòu)原理源碼級(jí)拆解 DiNAT 的分層結(jié)構(gòu)從 modeling_dinat.py 的實(shí)現(xiàn)看DiNAT 是典型的分層hierarchical視覺(jué) Transformer整體由DinatEmbeddingsPatch 嵌入、DinatEncoder四階段編碼器與可選的下游頭組成。下面按數(shù)據(jù)流向逐層拆解。2.1 Patch Embedding僅支持 patch size 4 的卷積下采樣DinatPatchEmbeddingsmodeling_dinat.py L144-L177負(fù)責(zé)把形狀為(batch_size, num_channels, height, width)的pixel_values轉(zhuǎn)成(batch_size, height, width, hidden_size)的 patch 嵌入。它沒(méi)有使用傳統(tǒng)的切 patch 線(xiàn)性投影而是用兩個(gè)連續(xù)的 3×3、stride 2 卷積逐級(jí)把分辨率降到原來(lái)的 1/4self.projection nn.Sequential( nn.Conv2d(self.num_channels, hidden_size // 2, kernel_size(3, 3), stride(2, 2), padding(1, 1)), nn.Conv2d(hidden_size // 2, hidden_size, kernel_size(3, 3), stride(2, 2), padding(1, 1)), )注意源碼中顯式限制if patch_size 4: pass else: # TODO: Support arbitrary patch sizes. raise ValueError(Dinat only supports patch size of 4 at the moment.)這與文檔現(xiàn)時(shí)僅支持 patch size 4的說(shuō)明一致——這是當(dāng)前實(shí)現(xiàn)層面的硬性約束而非配置建議。嵌入后還會(huì)接LayerNorm與DropoutDinatEmbeddingsL122-L141。2.2 四階段編碼器與卷積下采樣器DinatEncoderL462-L529包含len(config.depths)個(gè) stage默認(rèn) 4 個(gè)。每個(gè) stage 的維度為embed_dim * 2**i64 → 128 → 256 → 512其內(nèi)部的每個(gè) layer 使用不同的擴(kuò)張值來(lái)自config.dilations[i]。階段之間用DinatDownsamplerL180-L200銜接一個(gè) 3×3、stride 2 的卷積將特征圖分辨率減半、通道數(shù)翻倍再跟一層 LayerNorm。最后一個(gè) stage 之后不再下采樣。2.3 核心算子NeighborhoodAttention含 DiNANeighborhoodAttentionL203-L259是 DiNAT 的核心模塊其計(jì)算流程為對(duì)hidden_states分別經(jīng)過(guò) query / key / value 三個(gè)線(xiàn)性層并拆分為多頭attention_head_size dim / num_heads在縮放因子1/sqrt(attention_head_size)之后調(diào)用 NATTEN 提供的natten2dqkrpb計(jì)算擴(kuò)張近鄰注意力原始分?jǐn)?shù)并同時(shí)加上可學(xué)習(xí)的相對(duì)位置偏置rpb——源碼注釋明確說(shuō)明 rpb is learnable relative positional biases; same concept is used in SwinL217對(duì)注意力分?jǐn)?shù)做 softmax 與 dropout調(diào)用natten2dav聚合 value得到上下文向量。其中rpb的形狀為(num_heads, 2*kernel_size-1, 2*kernel_size-1)L218kernel_size與dilation由配置與所在層共同決定。值得注意的是擴(kuò)張正是通過(guò)把 dilation 參數(shù)傳入natten2dqkrpb/natten2dav實(shí)現(xiàn)的注意力窗口的實(shí)際覆蓋范圍是window_size kernel_size * dilation因而既保持參與計(jì)算的 token 數(shù)量不變零額外成本又把感受野按層逐級(jí)擴(kuò)大。2.4 DiNAT Layer 的殘差結(jié)構(gòu)DinatLayerL344-L412采用 Pre-LayerNorm 的 Transformer 塊結(jié)構(gòu)并包含若干工程細(xì)節(jié)layernorm_before → attention → drop_path → 殘差再layernorm_after → intermediateMLP 升維倍率為 mlp_ratio→ outputMLP 降維→ drop_path → 殘差當(dāng)layer_scale_init_value 0時(shí)為注意力和 MLP 輸出各乘以一組可學(xué)習(xí)的層縮放參數(shù)L359-L363、L398-L407maybe_padL365-L374在特征圖小于kernel_size * dilation時(shí)做右側(cè)/底部 padding計(jì)算后再裁剪回原尺寸L394-L396保證小分辨率輸入也能正常前向。2.5 DropPath隨機(jī)深度DinatDropPathL319-L341是從 Swin 的SwinDropPath復(fù)制而來(lái)源碼標(biāo)注 Copied from transformers.models.swin...按樣本對(duì)殘差塊做隨機(jī)深度正則drop_prob為 0 或非訓(xùn)練模式下恒等映射否則按1 - drop_prob的概率保留并除以 keep_prob 保持期望一致。drop_path_rate由DinatEncoder在[0, config.drop_path_rate]區(qū)間按總層數(shù)線(xiàn)性插值分配L467。2.6 輸出形態(tài)hidden_states 與 reshaped_hidden_states文檔Usage tips中特別強(qiáng)調(diào)當(dāng)output_hidden_states True時(shí)模型同時(shí)輸出hidden_states與reshaped_hidden_states且后者的形狀是(batch, num_channels, height, width)而不是(batch_size, height, width, num_channels)。這與內(nèi)部張量布局直接相關(guān)整個(gè)編碼器內(nèi)部的特征圖以(batch, height, width, channels)的 NHWC 布局流動(dòng)Patch Embedding 輸出時(shí)已permute成該布局見(jiàn) L175DinatEncoder在收集隱藏狀態(tài)時(shí)執(zhí)行hidden_states.permute(0, 3, 1, 2)L497 等把每個(gè) stage 的特征圖重排回(batch, channels, height, width)的 NCHW 布局形成reshaped_hidden_states方便直接接入卷積類(lèi)下游模塊如分割/檢測(cè)頭因此做視覺(jué) backbone 時(shí)優(yōu)先使用reshaped_hidden_states而沿用 Transformer 習(xí)慣例如拼接序列時(shí)可使用hidden_states。DinatModel還包含一個(gè)可選的池化層AdaptiveAvgPool1d(1)L559對(duì)最后一層特征做平均池化得到pooler_output供分類(lèi)頭使用。三、環(huán)境準(zhǔn)備N(xiāo)ATTEN 依賴(lài)安裝與限制DiNAT 的注意力計(jì)算不包含在本倉(cāng)庫(kù)內(nèi)而是依賴(lài) SHI-Labs 的 NATTEN 對(duì) Neighborhood Attention / Dilated Neighborhood Attention 的高效 CUDA 實(shí)現(xiàn)。這一點(diǎn)在源碼中有雙重印證modeling_dinat.py L37-L45 僅在is_natten_available()為真時(shí)從natten.functional導(dǎo)入natten2dav、natten2dqkrpb否則替換為拋出OptionalDependencyNotAvailable的占位函數(shù)DinatModel、DinatForImageClassification、DinatBackbone的__init__均調(diào)用requires_backends(self, [natten])如 L549未安裝時(shí)直接報(bào)錯(cuò)依賴(lài)探測(cè)函數(shù)is_natten_available()定義于 import_utils.py L1516-L1517缺失時(shí)的提示文案見(jiàn)同一文件的NATTEN_IMPORT_ERRORL2144-L2148。安裝方式按文檔說(shuō)明# 方式一Linux 使用預(yù)編譯 wheel推薦參考 shi-labs.com/natten 提供的構(gòu)建產(chǎn)物 # 方式二在本機(jī)源碼編譯可能耗時(shí)較長(zhǎng) pip install natten使用限制NATTEN 目前不支持 Windows 設(shè)備編譯安裝耗時(shí)較長(zhǎng)安裝后可能需要重啟運(yùn)行環(huán)境DiNAT 當(dāng)前僅支持 patch size 4見(jiàn) 2.1 節(jié)。提示由于 DiNAT 前向必須依賴(lài) NATTEN 的 CUDA kernel純 CPU 環(huán)境或無(wú) GPU 的容器內(nèi)使用會(huì)受限請(qǐng)以 NATTEN 官方發(fā)布說(shuō)明為準(zhǔn)。四、DinatConfig 配置參數(shù)詳解DinatConfig定義于 configuration_dinat.py L25-L82繼承BackboneConfigMixin與PreTrainedConfigmodel_type dinat。其默認(rèn)值對(duì)應(yīng)shi-labs/dinat-mini-in1k-224風(fēng)格的配置該 checkpoint 名出現(xiàn)在配置類(lèi)的自動(dòng)文檔字符串中。全部核心參數(shù)如下參數(shù)默認(rèn)值說(shuō)明patch_size4Patch 大小當(dāng)前僅支持 4支持int/list/tuple類(lèi)型聲明num_channels3輸入圖像通道數(shù)灰度圖可設(shè)為 1測(cè)試用例中有驗(yàn)證embed_dim64第一個(gè) stage 的嵌入維度之后每級(jí)翻倍depths(3, 4, 6, 5)每個(gè) stage 中 DiNAT 層的數(shù)量num_heads(2, 4, 8, 16)每個(gè) stage 的注意力頭數(shù)kernel_size7近鄰注意力窗口大小dilations[[1, 8, 1], [1, 4, 1, 4], [1, 2, 1, 2, 1, 2], [1, 1, 1, 1, 1]]編碼器中每個(gè) NA 層的擴(kuò)張值不傳時(shí)自動(dòng)使用該默認(rèn)值mlp_ratio3.0MLP 隱藏層相對(duì)維度的放大倍數(shù)qkv_biasTrueQ/K/V 線(xiàn)性層是否帶偏置hidden_dropout_prob0.0隱藏層 Dropout 概率attention_probs_dropout_prob0.0注意力分?jǐn)?shù) Dropout 概率drop_path_rate0.1隨機(jī)深度DropPath最大概率按層線(xiàn)性插值hidden_actgelu中間層激活函數(shù)initializer_range0.02權(quán)重初始化標(biāo)準(zhǔn)差layer_norm_eps1e-5LayerNorm 的 epsilonlayer_scale_init_value0.0層縮放初始值大于 0 時(shí)啟用可學(xué)習(xí)層縮放幾個(gè)派生屬性值得注意L71-L82 的__post_init__num_layers len(depths)attribute_map中把num_hidden_layers映射到num_layers把num_attention_heads映射到num_heads便于與通用配置接口兼容hidden_size embed_dim * 2 ** (len(depths) - 1)即最后一個(gè) stage 的通道數(shù)mini 配置下為 512。源碼注釋說(shuō)明設(shè)置該屬性是為了讓 DiNAT 能與VisionEncoderDecoderModel配合使用stage_names [stem] [fstage{idx} for idx in range(1, len(depths) 1)]與out_features/out_indices配合供 Backbone 使用。dilations參數(shù)是 DiNAT 區(qū)別于 NAT 的關(guān)鍵默認(rèn)配置中第一個(gè) stage 使用[1, 8, 1]——中間層的 dilation 高達(dá) 8意味著該層注意力以 8 為間隔采樣遠(yuǎn)處的 token從而以稀疏方式捕獲全局上下文越到后期 stage擴(kuò)張?jiān)节呌?1[1, 1, 1, 1, 1]回歸更精細(xì)的局部建模。五、模型類(lèi)與實(shí)戰(zhàn)用法5.1 從配置實(shí)例化模型參照 configuration_dinat.py L30-L43 中的示例可以先用配置初始化隨機(jī)權(quán)重模型from transformers import DinatConfig, DinatModel # 初始化一個(gè) shi-labs/dinat-mini-in1k-224 風(fēng)格的配置 configuration DinatConfig() # 用隨機(jī)權(quán)重初始化模型 model DinatModel(configuration) # 訪(fǎng)問(wèn)模型配置 configuration model.config5.2 DinatModel純編碼器輸出DinatModelmodeling_dinat.py L541-L613是基礎(chǔ)編碼器前向參數(shù)包括pixel_values、output_attentions、output_hidden_states、return_dict。返回的DinatModelOutputL76-L92包含last_hidden_state最后一層輸出形狀(batch, height, width, channels)pooler_output平均池化結(jié)果形狀(batch, hidden_size)hidden_states與reshaped_hidden_states各 stage 隱藏狀態(tài)詳見(jiàn) 2.6 節(jié)attentions各層注意力權(quán)重需要output_attentionsTrue。測(cè)試用例 test_modeling_dinat.py L132-L143 驗(yàn)證了前向輸出形狀對(duì)image_size64、depths[1,2,1]的配置last_hidden_state的形狀應(yīng)為(batch, 64//4//2**2, 64//4//2**2, 16*2**2)即每經(jīng)過(guò)一個(gè) stage 分辨率減半、通道翻倍——這與架構(gòu)設(shè)計(jì)完全一致。5.3 DinatForImageClassification圖像分類(lèi)DinatForImageClassificationL622-L682在DinatModel之上加一個(gè)線(xiàn)性分類(lèi)頭nn.Linear(self.dinat.num_features, config.num_labels)當(dāng)num_labels 0否則為nn.Identity。labels傳入時(shí)自動(dòng)計(jì)算損失num_labels 1時(shí)用 MSE 回歸損失num_labels 1時(shí)用交叉熵分類(lèi)損失。推理示例from transformers import AutoImageProcessor, AutoModelForImageClassification from PIL import Image processor AutoImageProcessor.from_pretrained(shi-labs/dinat-mini-in1k-224) model AutoModelForImageClassification.from_pretrained(shi-labs/dinat-mini-in1k-224) image Image.open(path/to/your/image.jpg) inputs processor(image, return_tensorspt) with torch.no_grad(): logits model(**inputs).logits predicted_class_id logits.argmax(-1).item() print(model.config.id2label[predicted_class_id])倉(cāng)庫(kù)還提供了完整的圖像分類(lèi)訓(xùn)練腳本 run_image_classification.py 及其無(wú) Trainer 版本run_image_classification_no_trainer.py依賴(lài)見(jiàn)同目錄 requirements.txt可配合--model_name_or_path shi-labs/dinat-mini-in1k-224等參數(shù)直接進(jìn)行微調(diào)或評(píng)估。文檔將 [DinatForImageClassification] 的官方支持資源指向該示例腳本與官方圖像分類(lèi) notebook本倉(cāng)庫(kù)內(nèi)可直接運(yùn)行的是前者。5.4 DinatBackbone作為下游視覺(jué)任務(wù)的骨干網(wǎng)絡(luò)文檔明確指出 DiNAT can be used as abackbone可作為骨干網(wǎng)絡(luò)使用。雖然文檔的 autodoc 列表只列出DinatConfig、DinatModel、DinatForImageClassification但當(dāng)前倉(cāng)庫(kù)源碼中還提供了DinatBackboneL690-L789繼承BackboneMixin專(zhuān)為 DETR、MaskFormer 等檢測(cè)/分割框架設(shè)計(jì)源碼注釋 NAT backbone, to be used with frameworks like DETR and MaskFormer。DinatBackbone前向返回BackboneOutput其中feature_maps為各指定 stage 的多尺度特征圖它對(duì)每個(gè)輸出 stage 額外套了一層 LayerNormL700-L704并對(duì)不在out_features中的 stage 做過(guò)濾。其 docstring 中給出了用AutoImageProcessorAutoBackbone提取特征圖的示例流程指定out_features[stage1, stage2, stage3, stage4]后最后一個(gè) stage 的 feature map 形狀為[1, 512, 7, 7]輸入 224×224 時(shí)。注意該示例使用的是shi-labs/nat-mini-in1k-224checkpoint實(shí)際使用 DiNAT 時(shí)可換成對(duì)應(yīng)的shi-labs/dinat-*系列 checkpoint。測(cè)試方面test_modeling_dinat.py L162-L187 驗(yàn)證了 backbone 的輸出指定out_features時(shí)feature_maps數(shù)量與通道數(shù)與之對(duì)應(yīng)out_featuresNone時(shí)退化為僅輸出最后一層形狀[batch, channels[-1], 4, 4]并在 L196 起通過(guò)require_natten裝飾器把整套測(cè)試限定在已安裝 NATTEN 的環(huán)境中運(yùn)行。5.5 任務(wù)指南銜接圖像分類(lèi)是 DiNAT 最直接的落地任務(wù)完整的任務(wù)級(jí)說(shuō)明參見(jiàn) 圖像分類(lèi)任務(wù)指南。六、使用注意事項(xiàng)與限制匯總硬性依賴(lài) NATTEN任何 DiNAT 模型類(lèi)實(shí)例化都會(huì)觸發(fā)requires_backends(self, [natten])必須先安裝 NATTEN見(jiàn)第三節(jié)平臺(tái)限制NATTEN 暫不支持 WindowsLinux 用戶(hù)優(yōu)先使用預(yù)編譯 wheel 避免長(zhǎng)時(shí)間編譯patch size 固定為 4源碼在DinatPatchEmbeddings中直接對(duì)非 4 的 patch size 拋ValueError目前無(wú)繞過(guò)途徑輸入通道校驗(yàn)pixel_values的通道數(shù)必須與config.num_channels一致L169-L173灰度圖需顯式把num_channels設(shè)為 1隱藏狀態(tài)布局hidden_states為(batch, height, width, channels)reshaped_hidden_states為(batch, channels, height, width)接入下游模塊前務(wù)必確認(rèn)所需布局輸出形狀推導(dǎo)每個(gè) stage 分辨率減半、通道翻倍最后一層特征分辨率約為input_size / patch_size / 2**(len(depths)-1)測(cè)試用例 L138-L139 的推導(dǎo)式即此邏輯配置超大kernel_size * dilation與過(guò)小輸入時(shí)需注意maybe_pad的邊界處理。七、小結(jié)DiNAT 通過(guò)局部 NA 稀疏 DiNA的組合在層級(jí)架構(gòu)中同時(shí)兼顧了局部精細(xì)建模與全局上下文捕獲是 NAT 的重要演進(jìn)。在本倉(cāng)庫(kù)中它由 DinatConfig 提供配置、modeling_dinat.py 提供DinatModel、DinatForImageClassification與DinatBackbone三種模型形態(tài)分別覆蓋純特征提取、圖像分類(lèi)與多尺度骨干網(wǎng)絡(luò)三類(lèi)場(chǎng)景test_modeling_dinat.py 則對(duì)輸出形狀、backbone 行為與灰度圖輸入等關(guān)鍵路徑做了系統(tǒng)驗(yàn)證。上手時(shí)請(qǐng)務(wù)必先解決 NATTEN 依賴(lài)再結(jié)合 圖像分類(lèi)示例腳本 快速跑通訓(xùn)練與推理鏈路。【免費(fèi)下載鏈接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/tra/transformers創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 [特殊字符] Transformers 中的 Dilated Neighborhood Attention Transformer（DiNAT）：架構(gòu)原理、配置詳解與實(shí)戰(zhàn)使用指南
Transformers 中的 Dilated Neighborhood Attention TransformerDiNAT架構(gòu)原理、配置詳解與實(shí)戰(zhàn)使用指南【免費(fèi)下載鏈接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/tra/transformers導(dǎo)讀DiNATDilated Neighborhood Attention Transformer擴(kuò)張近鄰注意力 Transformer是 Transformers 中收錄的一種分層視覺(jué) Transformer它通過(guò)引入擴(kuò)張近鄰注意力DiNA模式在保持局部注意力低計(jì)算成本的同時(shí)捕獲全局上下文、指數(shù)級(jí)擴(kuò)展感受野。本文以倉(cāng)庫(kù)內(nèi) DiNAT 文檔及對(duì)應(yīng)的 英文文檔為核心結(jié)合 configuration_dinat.py 與 modeling_dinat.py 的源碼實(shí)現(xiàn)系統(tǒng)講解 DiNAT 的模型原理、NATTEN 依賴(lài)環(huán)境、DinatConfig全部配置參數(shù)、DinatModel/DinatForImageClassification/DinatBackbone三類(lèi)模型的用法以及將其作為圖像分類(lèi)與下游視覺(jué)任務(wù)骨干網(wǎng)絡(luò)backbone的完整實(shí)戰(zhàn)方案。讀完本文你將能夠獨(dú)立安裝依賴(lài)、加載與微調(diào) DiNAT 模型并理解其局部 稀疏全局混合注意力的設(shè)計(jì)邏輯。一、模型概述從 NAT 到 DiNATDiNAT 由 Ali Hassani 與 Humphrey Shi 在論文《Dilated Neighborhood Attention Transformer》中提出論文于 2022-09-29 發(fā)布模型于 2022-11-18 貢獻(xiàn)進(jìn)本倉(cāng)庫(kù)見(jiàn) 英文文檔 開(kāi)頭說(shuō)明。它是 NATNeighborhood Attention Transformer 的直接擴(kuò)展在 NAT 的基礎(chǔ)上加入擴(kuò)張近鄰注意力Dilated Neighborhood Attention, DiNA模式用于捕獲全局上下文并在 NAT 基礎(chǔ)上取得了顯著的性能提升。論文摘要中闡述了這一設(shè)計(jì)動(dòng)機(jī)視覺(jué)領(lǐng)域的 Transformer 通常采用局部注意力機(jī)制如滑窗近鄰注意力 NA、Swin Transformer 的移位窗口自注意力來(lái)削減自注意力的二次復(fù)雜度但局部注意力同時(shí)弱化了自注意力最可貴的兩個(gè)特性——長(zhǎng)距離相互依賴(lài)建模與全局感受野。DiNA 作為 NA 的一種自然、靈活且高效的擴(kuò)展可以捕獲更多全局上下文并在零額外成本的前提下從零開(kāi)始指數(shù)級(jí)擴(kuò)展感受野NA 的局部注意力與 DiNA 的稀疏全局注意力相互補(bǔ)充二者共同構(gòu)成 DiNAT 這一新型分層視覺(jué) Transformer。論文中報(bào)告DiNAT 各變體相比 NAT、Swin、ConvNeXt 等強(qiáng)基線(xiàn)有顯著改進(jìn)。其大模型在 COCO 目標(biāo)檢測(cè)上比對(duì)應(yīng)的 Swin 模型更快且 box AP 領(lǐng)先 1.5%COCO 實(shí)例分割 mask AP 領(lǐng)先 1.3%ADE20K 語(yǔ)義分割 mIoU 領(lǐng)先 1.1%。配合新框架后其大模型在 COCO58.2 PQ與 ADE20K48.5 PQ上成為全景分割新 SOTA在 Cityscapes44.5 AP與 ADE20K35.4 AP上無(wú)額外數(shù)據(jù)刷新實(shí)例分割記錄并追平 ADE20K 上專(zhuān)用語(yǔ)義分割模型的 SOTA58.2 mIoU。以上均為論文報(bào)告的實(shí)驗(yàn)結(jié)果。文檔中展示的不同擴(kuò)張值下的近鄰注意力示意圖不同擴(kuò)張值對(duì)應(yīng)的注意力采樣區(qū)域直觀說(shuō)明了這一思想當(dāng) dilation 為 1 時(shí)注意力覆蓋緊鄰的kernel_size × kernel_size窗口隨著 dilation 增大參與計(jì)算的 token 彼此間距拉大形成稀疏但覆蓋范圍更廣的全局采樣模式。二、架構(gòu)原理源碼級(jí)拆解 DiNAT 的分層結(jié)構(gòu)從 modeling_dinat.py 的實(shí)現(xiàn)看DiNAT 是典型的分層hierarchical視覺(jué) Transformer整體由DinatEmbeddingsPatch 嵌入、DinatEncoder四階段編碼器與可選的下游頭組成。下面按數(shù)據(jù)流向逐層拆解。2.1 Patch Embedding僅支持 patch size 4 的卷積下采樣DinatPatchEmbeddingsmodeling_dinat.py L144-L177負(fù)責(zé)把形狀為(batch_size, num_channels, height, width)的pixel_values轉(zhuǎn)成(batch_size, height, width, hidden_size)的 patch 嵌入。它沒(méi)有使用傳統(tǒng)的切 patch 線(xiàn)性投影而是用兩個(gè)連續(xù)的 3×3、stride 2 卷積逐級(jí)把分辨率降到原來(lái)的 1/4self.projection nn.Sequential( nn.Conv2d(self.num_channels, hidden_size // 2, kernel_size(3, 3), stride(2, 2), padding(1, 1)), nn.Conv2d(hidden_size // 2, hidden_size, kernel_size(3, 3), stride(2, 2), padding(1, 1)), )注意源碼中顯式限制if patch_size 4: pass else: # TODO: Support arbitrary patch sizes. raise ValueError(Dinat only supports patch size of 4 at the moment.)這與文檔現(xiàn)時(shí)僅支持 patch size 4的說(shuō)明一致——這是當(dāng)前實(shí)現(xiàn)層面的硬性約束而非配置建議。嵌入后還會(huì)接LayerNorm與DropoutDinatEmbeddingsL122-L141。2.2 四階段編碼器與卷積下采樣器DinatEncoderL462-L529包含len(config.depths)個(gè) stage默認(rèn) 4 個(gè)。每個(gè) stage 的維度為embed_dim * 2**i64 → 128 → 256 → 512其內(nèi)部的每個(gè) layer 使用不同的擴(kuò)張值來(lái)自config.dilations[i]。階段之間用DinatDownsamplerL180-L200銜接一個(gè) 3×3、stride 2 的卷積將特征圖分辨率減半、通道數(shù)翻倍再跟一層 LayerNorm。最后一個(gè) stage 之后不再下采樣。2.3 核心算子NeighborhoodAttention含 DiNANeighborhoodAttentionL203-L259是 DiNAT 的核心模塊其計(jì)算流程為對(duì)hidden_states分別經(jīng)過(guò) query / key / value 三個(gè)線(xiàn)性層并拆分為多頭attention_head_size dim / num_heads在縮放因子1/sqrt(attention_head_size)之后調(diào)用 NATTEN 提供的natten2dqkrpb計(jì)算擴(kuò)張近鄰注意力原始分?jǐn)?shù)并同時(shí)加上可學(xué)習(xí)的相對(duì)位置偏置rpb——源碼注釋明確說(shuō)明 rpb is learnable relative positional biases; same concept is used in SwinL217對(duì)注意力分?jǐn)?shù)做 softmax 與 dropout調(diào)用natten2dav聚合 value得到上下文向量。其中rpb的形狀為(num_heads, 2*kernel_size-1, 2*kernel_size-1)L218kernel_size與dilation由配置與所在層共同決定。值得注意的是擴(kuò)張正是通過(guò)把 dilation 參數(shù)傳入natten2dqkrpb/natten2dav實(shí)現(xiàn)的注意力窗口的實(shí)際覆蓋范圍是window_size kernel_size * dilation因而既保持參與計(jì)算的 token 數(shù)量不變零額外成本又把感受野按層逐級(jí)擴(kuò)大。2.4 DiNAT Layer 的殘差結(jié)構(gòu)DinatLayerL344-L412采用 Pre-LayerNorm 的 Transformer 塊結(jié)構(gòu)并包含若干工程細(xì)節(jié)layernorm_before → attention → drop_path → 殘差再layernorm_after → intermediateMLP 升維倍率為 mlp_ratio→ outputMLP 降維→ drop_path → 殘差當(dāng)layer_scale_init_value 0時(shí)為注意力和 MLP 輸出各乘以一組可學(xué)習(xí)的層縮放參數(shù)L359-L363、L398-L407maybe_padL365-L374在特征圖小于kernel_size * dilation時(shí)做右側(cè)/底部 padding計(jì)算后再裁剪回原尺寸L394-L396保證小分辨率輸入也能正常前向。2.5 DropPath隨機(jī)深度DinatDropPathL319-L341是從 Swin 的SwinDropPath復(fù)制而來(lái)源碼標(biāo)注 Copied from transformers.models.swin...按樣本對(duì)殘差塊做隨機(jī)深度正則drop_prob為 0 或非訓(xùn)練模式下恒等映射否則按1 - drop_prob的概率保留并除以 keep_prob 保持期望一致。drop_path_rate由DinatEncoder在[0, config.drop_path_rate]區(qū)間按總層數(shù)線(xiàn)性插值分配L467。2.6 輸出形態(tài)hidden_states 與 reshaped_hidden_states文檔Usage tips中特別強(qiáng)調(diào)當(dāng)output_hidden_states True時(shí)模型同時(shí)輸出hidden_states與reshaped_hidden_states且后者的形狀是(batch, num_channels, height, width)而不是(batch_size, height, width, num_channels)。這與內(nèi)部張量布局直接相關(guān)整個(gè)編碼器內(nèi)部的特征圖以(batch, height, width, channels)的 NHWC 布局流動(dòng)Patch Embedding 輸出時(shí)已permute成該布局見(jiàn) L175DinatEncoder在收集隱藏狀態(tài)時(shí)執(zhí)行hidden_states.permute(0, 3, 1, 2)L497 等把每個(gè) stage 的特征圖重排回(batch, channels, height, width)的 NCHW 布局形成reshaped_hidden_states方便直接接入卷積類(lèi)下游模塊如分割/檢測(cè)頭因此做視覺(jué) backbone 時(shí)優(yōu)先使用reshaped_hidden_states而沿用 Transformer 習(xí)慣例如拼接序列時(shí)可使用hidden_states。DinatModel還包含一個(gè)可選的池化層AdaptiveAvgPool1d(1)L559對(duì)最后一層特征做平均池化得到pooler_output供分類(lèi)頭使用。三、環(huán)境準(zhǔn)備N(xiāo)ATTEN 依賴(lài)安裝與限制DiNAT 的注意力計(jì)算不包含在本倉(cāng)庫(kù)內(nèi)而是依賴(lài) SHI-Labs 的 NATTEN 對(duì) Neighborhood Attention / Dilated Neighborhood Attention 的高效 CUDA 實(shí)現(xiàn)。這一點(diǎn)在源碼中有雙重印證modeling_dinat.py L37-L45 僅在is_natten_available()為真時(shí)從natten.functional導(dǎo)入natten2dav、natten2dqkrpb否則替換為拋出OptionalDependencyNotAvailable的占位函數(shù)DinatModel、DinatForImageClassification、DinatBackbone的__init__均調(diào)用requires_backends(self, [natten])如 L549未安裝時(shí)直接報(bào)錯(cuò)依賴(lài)探測(cè)函數(shù)is_natten_available()定義于 import_utils.py L1516-L1517缺失時(shí)的提示文案見(jiàn)同一文件的NATTEN_IMPORT_ERRORL2144-L2148。安裝方式按文檔說(shuō)明# 方式一Linux 使用預(yù)編譯 wheel推薦參考 shi-labs.com/natten 提供的構(gòu)建產(chǎn)物 # 方式二在本機(jī)源碼編譯可能耗時(shí)較長(zhǎng) pip install natten使用限制NATTEN 目前不支持 Windows 設(shè)備編譯安裝耗時(shí)較長(zhǎng)安裝后可能需要重啟運(yùn)行環(huán)境DiNAT 當(dāng)前僅支持 patch size 4見(jiàn) 2.1 節(jié)。提示由于 DiNAT 前向必須依賴(lài) NATTEN 的 CUDA kernel純 CPU 環(huán)境或無(wú) GPU 的容器內(nèi)使用會(huì)受限請(qǐng)以 NATTEN 官方發(fā)布說(shuō)明為準(zhǔn)。四、DinatConfig 配置參數(shù)詳解DinatConfig定義于 configuration_dinat.py L25-L82繼承BackboneConfigMixin與PreTrainedConfigmodel_type dinat。其默認(rèn)值對(duì)應(yīng)shi-labs/dinat-mini-in1k-224風(fēng)格的配置該 checkpoint 名出現(xiàn)在配置類(lèi)的自動(dòng)文檔字符串中。全部核心參數(shù)如下參數(shù)默認(rèn)值說(shuō)明patch_size4Patch 大小當(dāng)前僅支持 4支持int/list/tuple類(lèi)型聲明num_channels3輸入圖像通道數(shù)灰度圖可設(shè)為 1測(cè)試用例中有驗(yàn)證embed_dim64第一個(gè) stage 的嵌入維度之后每級(jí)翻倍depths(3, 4, 6, 5)每個(gè) stage 中 DiNAT 層的數(shù)量num_heads(2, 4, 8, 16)每個(gè) stage 的注意力頭數(shù)kernel_size7近鄰注意力窗口大小dilations[[1, 8, 1], [1, 4, 1, 4], [1, 2, 1, 2, 1, 2], [1, 1, 1, 1, 1]]編碼器中每個(gè) NA 層的擴(kuò)張值不傳時(shí)自動(dòng)使用該默認(rèn)值mlp_ratio3.0MLP 隱藏層相對(duì)維度的放大倍數(shù)qkv_biasTrueQ/K/V 線(xiàn)性層是否帶偏置hidden_dropout_prob0.0隱藏層 Dropout 概率attention_probs_dropout_prob0.0注意力分?jǐn)?shù) Dropout 概率drop_path_rate0.1隨機(jī)深度DropPath最大概率按層線(xiàn)性插值hidden_actgelu中間層激活函數(shù)initializer_range0.02權(quán)重初始化標(biāo)準(zhǔn)差layer_norm_eps1e-5LayerNorm 的 epsilonlayer_scale_init_value0.0層縮放初始值大于 0 時(shí)啟用可學(xué)習(xí)層縮放幾個(gè)派生屬性值得注意L71-L82 的__post_init__num_layers len(depths)attribute_map中把num_hidden_layers映射到num_layers把num_attention_heads映射到num_heads便于與通用配置接口兼容hidden_size embed_dim * 2 ** (len(depths) - 1)即最后一個(gè) stage 的通道數(shù)mini 配置下為 512。源碼注釋說(shuō)明設(shè)置該屬性是為了讓 DiNAT 能與VisionEncoderDecoderModel配合使用stage_names [stem] [fstage{idx} for idx in range(1, len(depths) 1)]與out_features/out_indices配合供 Backbone 使用。dilations參數(shù)是 DiNAT 區(qū)別于 NAT 的關(guān)鍵默認(rèn)配置中第一個(gè) stage 使用[1, 8, 1]——中間層的 dilation 高達(dá) 8意味著該層注意力以 8 為間隔采樣遠(yuǎn)處的 token從而以稀疏方式捕獲全局上下文越到后期 stage擴(kuò)張?jiān)节呌?1[1, 1, 1, 1, 1]回歸更精細(xì)的局部建模。五、模型類(lèi)與實(shí)戰(zhàn)用法5.1 從配置實(shí)例化模型參照 configuration_dinat.py L30-L43 中的示例可以先用配置初始化隨機(jī)權(quán)重模型from transformers import DinatConfig, DinatModel # 初始化一個(gè) shi-labs/dinat-mini-in1k-224 風(fēng)格的配置 configuration DinatConfig() # 用隨機(jī)權(quán)重初始化模型 model DinatModel(configuration) # 訪(fǎng)問(wèn)模型配置 configuration model.config5.2 DinatModel純編碼器輸出DinatModelmodeling_dinat.py L541-L613是基礎(chǔ)編碼器前向參數(shù)包括pixel_values、output_attentions、output_hidden_states、return_dict。返回的DinatModelOutputL76-L92包含last_hidden_state最后一層輸出形狀(batch, height, width, channels)pooler_output平均池化結(jié)果形狀(batch, hidden_size)hidden_states與reshaped_hidden_states各 stage 隱藏狀態(tài)詳見(jiàn) 2.6 節(jié)attentions各層注意力權(quán)重需要output_attentionsTrue。測(cè)試用例 test_modeling_dinat.py L132-L143 驗(yàn)證了前向輸出形狀對(duì)image_size64、depths[1,2,1]的配置last_hidden_state的形狀應(yīng)為(batch, 64//4//2**2, 64//4//2**2, 16*2**2)即每經(jīng)過(guò)一個(gè) stage 分辨率減半、通道翻倍——這與架構(gòu)設(shè)計(jì)完全一致。5.3 DinatForImageClassification圖像分類(lèi)DinatForImageClassificationL622-L682在DinatModel之上加一個(gè)線(xiàn)性分類(lèi)頭nn.Linear(self.dinat.num_features, config.num_labels)當(dāng)num_labels 0否則為nn.Identity。labels傳入時(shí)自動(dòng)計(jì)算損失num_labels 1時(shí)用 MSE 回歸損失num_labels 1時(shí)用交叉熵分類(lèi)損失。推理示例from transformers import AutoImageProcessor, AutoModelForImageClassification from PIL import Image processor AutoImageProcessor.from_pretrained(shi-labs/dinat-mini-in1k-224) model AutoModelForImageClassification.from_pretrained(shi-labs/dinat-mini-in1k-224) image Image.open(path/to/your/image.jpg) inputs processor(image, return_tensorspt) with torch.no_grad(): logits model(**inputs).logits predicted_class_id logits.argmax(-1).item() print(model.config.id2label[predicted_class_id])倉(cāng)庫(kù)還提供了完整的圖像分類(lèi)訓(xùn)練腳本 run_image_classification.py 及其無(wú) Trainer 版本run_image_classification_no_trainer.py依賴(lài)見(jiàn)同目錄 requirements.txt可配合--model_name_or_path shi-labs/dinat-mini-in1k-224等參數(shù)直接進(jìn)行微調(diào)或評(píng)估。文檔將 [DinatForImageClassification] 的官方支持資源指向該示例腳本與官方圖像分類(lèi) notebook本倉(cāng)庫(kù)內(nèi)可直接運(yùn)行的是前者。5.4 DinatBackbone作為下游視覺(jué)任務(wù)的骨干網(wǎng)絡(luò)文檔明確指出 DiNAT can be used as abackbone可作為骨干網(wǎng)絡(luò)使用。雖然文檔的 autodoc 列表只列出DinatConfig、DinatModel、DinatForImageClassification但當(dāng)前倉(cāng)庫(kù)源碼中還提供了DinatBackboneL690-L789繼承BackboneMixin專(zhuān)為 DETR、MaskFormer 等檢測(cè)/分割框架設(shè)計(jì)源碼注釋 NAT backbone, to be used with frameworks like DETR and MaskFormer。DinatBackbone前向返回BackboneOutput其中feature_maps為各指定 stage 的多尺度特征圖它對(duì)每個(gè)輸出 stage 額外套了一層 LayerNormL700-L704并對(duì)不在out_features中的 stage 做過(guò)濾。其 docstring 中給出了用AutoImageProcessorAutoBackbone提取特征圖的示例流程指定out_features[stage1, stage2, stage3, stage4]后最后一個(gè) stage 的 feature map 形狀為[1, 512, 7, 7]輸入 224×224 時(shí)。注意該示例使用的是shi-labs/nat-mini-in1k-224checkpoint實(shí)際使用 DiNAT 時(shí)可換成對(duì)應(yīng)的shi-labs/dinat-*系列 checkpoint。測(cè)試方面test_modeling_dinat.py L162-L187 驗(yàn)證了 backbone 的輸出指定out_features時(shí)feature_maps數(shù)量與通道數(shù)與之對(duì)應(yīng)out_featuresNone時(shí)退化為僅輸出最后一層形狀[batch, channels[-1], 4, 4]并在 L196 起通過(guò)require_natten裝飾器把整套測(cè)試限定在已安裝 NATTEN 的環(huán)境中運(yùn)行。5.5 任務(wù)指南銜接圖像分類(lèi)是 DiNAT 最直接的落地任務(wù)完整的任務(wù)級(jí)說(shuō)明參見(jiàn) 圖像分類(lèi)任務(wù)指南。六、使用注意事項(xiàng)與限制匯總硬性依賴(lài) NATTEN任何 DiNAT 模型類(lèi)實(shí)例化都會(huì)觸發(fā)requires_backends(self, [natten])必須先安裝 NATTEN見(jiàn)第三節(jié)平臺(tái)限制NATTEN 暫不支持 WindowsLinux 用戶(hù)優(yōu)先使用預(yù)編譯 wheel 避免長(zhǎng)時(shí)間編譯patch size 固定為 4源碼在DinatPatchEmbeddings中直接對(duì)非 4 的 patch size 拋ValueError目前無(wú)繞過(guò)途徑輸入通道校驗(yàn)pixel_values的通道數(shù)必須與config.num_channels一致L169-L173灰度圖需顯式把num_channels設(shè)為 1隱藏狀態(tài)布局hidden_states為(batch, height, width, channels)reshaped_hidden_states為(batch, channels, height, width)接入下游模塊前務(wù)必確認(rèn)所需布局輸出形狀推導(dǎo)每個(gè) stage 分辨率減半、通道翻倍最后一層特征分辨率約為input_size / patch_size / 2**(len(depths)-1)測(cè)試用例 L138-L139 的推導(dǎo)式即此邏輯配置超大kernel_size * dilation與過(guò)小輸入時(shí)需注意maybe_pad的邊界處理。七、小結(jié)DiNAT 通過(guò)局部 NA 稀疏 DiNA的組合在層級(jí)架構(gòu)中同時(shí)兼顧了局部精細(xì)建模與全局上下文捕獲是 NAT 的重要演進(jìn)。在本倉(cāng)庫(kù)中它由 DinatConfig 提供配置、modeling_dinat.py 提供DinatModel、DinatForImageClassification與DinatBackbone三種模型形態(tài)分別覆蓋純特征提取、圖像分類(lèi)與多尺度骨干網(wǎng)絡(luò)三類(lèi)場(chǎng)景test_modeling_dinat.py 則對(duì)輸出形狀、backbone 行為與灰度圖輸入等關(guān)鍵路徑做了系統(tǒng)驗(yàn)證。上手時(shí)請(qǐng)務(wù)必先解決 NATTEN 依賴(lài)再結(jié)合 圖像分類(lèi)示例腳本 快速跑通訓(xùn)練與推理鏈路。【免費(fèi)下載鏈接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/tra/transformers創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考