前言本文將深入剖析Transformer的內(nèi)部工作原理詳細(xì)研究其運(yùn)作細(xì)節(jié)。我們將通過實際的矩陣表示和形狀觀察數(shù)據(jù)如何在系統(tǒng)中流動并理解每個階段進(jìn)行的計算。本文目標(biāo)不僅是理解Transformer是如何工作的更要探究它為何如此工作。架構(gòu)概覽正如我們在第一部分中看到的Transformer架構(gòu)的主要組件包括編碼器和解碼器的數(shù)據(jù)輸入包括嵌入層位置編碼層編碼器堆棧由多個編碼器組成每個編碼器內(nèi)部包含多頭注意力層前饋神經(jīng)網(wǎng)絡(luò)層解碼器堆棧則由多個解碼器組成每個解碼器內(nèi)部包含兩個多頭注意力層前饋神經(jīng)網(wǎng)絡(luò)層輸出右上角——生成最終輸出包含線性層Softmax層為了理解每個組件的作用讓我們以訓(xùn)練Transformer解決翻譯問題為例來逐步了解它的工作原理。我們將使用訓(xùn)練數(shù)據(jù)中的一個樣本該樣本由輸入序列英文“You are welcome”和目標(biāo)序列西班牙文“De nada”組成。嵌入與位置編碼與任何自然語言處理NLP模型一樣Transformer需要了解每個單詞的兩方面信息——單詞的含義及其在序列中的位置。嵌入層負(fù)責(zé)編碼單詞的含義。位置編碼層負(fù)責(zé)表示單詞在序列中的位置。Transformer通過將這兩個編碼相加來結(jié)合這兩方面的信息。嵌入處理Transformer具有兩個嵌入層輸入序列被送入第一個嵌入層即輸入嵌入層。目標(biāo)序列在向右移動一個位置并在第一個位置插入一個開始標(biāo)記后被送入第二個嵌入層。請注意在推理過程中我們沒有目標(biāo)序列而是將輸出序列循環(huán)地送入這個第二層因此它被稱為輸出嵌入。文本序列通過詞匯表被映射為數(shù)字形式的單詞ID然后嵌入層將每個輸入單詞映射到一個嵌入向量中這個向量是該單詞含義的更豐富表示。位置編碼由于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN通過順序輸入每個單詞來實現(xiàn)循環(huán)因此它隱式地知道每個單詞的位置。然而Transformer不使用RNN且序列中的所有單詞都是并行輸入的。這是它相對于RNN架構(gòu)的主要優(yōu)勢但也意味著位置信息丟失了需要單獨(dú)添加回來。與兩個嵌入層類似也有兩個位置編碼層。位置編碼是根據(jù)輸入序列獨(dú)立計算的。這些值是固定的僅取決于序列的最大長度。例如第一個元素是一個表示第一個位置的常量編碼第二個元素是一個表示第二個位置的常量編碼以此類推這些常量通過使用以下公式計算得出其中pos 是單詞在序列中的位置d_model 是編碼向量的長度與嵌入向量相同i 是該向量的索引值換句話說它通過正弦曲線和余弦曲線的交錯來編碼偶數(shù)索引使用正弦值奇數(shù)索引使用余弦值。例如如果我們編碼一個40個單詞的序列我們可以看到下面幾個單詞位置編碼索引組合的編碼值。藍(lán)色曲線顯示了所有40個單詞位置的第0個索引的編碼橙色曲線顯示了所有40個單詞位置的第1個索引的編碼剩余的索引值也會有類似的曲線。矩陣維度我們知道深度學(xué)習(xí)模型一次處理一批訓(xùn)練樣本。嵌入層和位置編碼層在代表一批序列樣本的矩陣上操作。嵌入層接受一個形狀為樣本數(shù)序列長度的單詞ID矩陣將每個單詞ID編碼為一個長度等于嵌入大小的詞向量從而生成一個形狀為樣本數(shù)序列長度嵌入大小的輸出矩陣。位置編碼使用與嵌入大小相等的編碼大小因此它產(chǎn)生一個形狀相似的矩陣該矩陣可以與嵌入矩陣相加。嵌入層和位置編碼層產(chǎn)生的樣本數(shù)序列長度嵌入大小形狀在Transformer中一直保持不變直到數(shù)據(jù)流經(jīng)編碼器和解碼器堆棧最后被最終輸出層重新塑形。這給出了Transformer中3D矩陣維度的概念然而為了簡化可視化從現(xiàn)在起我們將省略第一維對于樣本并使用單個樣本的2D表示。輸入嵌入將其輸出發(fā)送到編碼器。類似地輸出嵌入將其輸出送入解碼器。編碼器編碼器和解碼器堆棧分別由幾個通常是六個編碼器和解碼器順序連接而成。堆棧中的第一個編碼器從嵌入層和位置編碼接收輸入。堆棧中的其他編碼器從前一個編碼器接收輸入。編碼器將其輸入傳遞給多頭自注意力層。自注意力層的輸出被傳遞到前饋神經(jīng)網(wǎng)絡(luò)層然后將其輸出向上傳遞到下一個編碼器。自注意力層和前饋神經(jīng)網(wǎng)絡(luò)子層都圍繞它們有一個殘差跳躍連接之后是層歸一化。如下所述最后一個編碼器的輸出被送入解碼器堆棧中的每個解碼器。解碼器解碼器的結(jié)構(gòu)與編碼器非常相似但有一些不同。與編碼器一樣堆棧中的第一個解碼器從輸出嵌入和位置編碼接收輸入。堆棧中的其他解碼器從前一個解碼器接收輸入。解碼器將其輸入傳遞給多頭自注意力層。但這與編碼器中的自注意力層工作方式略有不同。它只允許關(guān)注序列中較早的位置這是通過屏蔽未來位置來實現(xiàn)的稍后將詳細(xì)介紹。與編碼器不同解碼器包含第二層多頭注意力機(jī)制即編碼器-解碼器注意力層。編碼器-解碼器注意力層的工作原理類似于自注意力機(jī)制但其特殊之處在于它結(jié)合了兩種輸入源其下方的自注意力層輸出以及編碼器堆疊的輸出。自注意力層的輸出會傳遞給一個前饋神經(jīng)網(wǎng)絡(luò)層該層隨后將其輸出向上傳遞至下一個解碼器。這三個子層——自注意力層、編碼器-解碼器注意力層以及前饋神經(jīng)網(wǎng)絡(luò)層——都圍繞殘差連接進(jìn)行之后進(jìn)行層歸一化。注意力機(jī)制在第一部分中我們討論了為什么在處理序列時注意力機(jī)制如此重要。在Transformer模型中注意力機(jī)制在三個地方被使用編碼器的自注意力輸入序列關(guān)注自身解碼器的自注意力目標(biāo)序列關(guān)注自身解碼器的編碼器-解碼器注意力目標(biāo)序列關(guān)注輸入序列注意力層通過三個參數(shù)接收輸入分別稱為查詢Query、鍵Key和值Value。在編碼器的自注意力中編碼器的輸入被傳遞給這三個參數(shù)。在解碼器的自注意力中解碼器的輸入同樣被傳遞給這三個參數(shù)。在解碼器的編碼器-解碼器注意力中編碼器堆疊的最終輸出被傳遞給值Value和鍵Key參數(shù)而其下方的自注意力及層歸一化模塊的輸出被傳遞給查詢Query參數(shù)。多頭注意力Transformer將每個注意力處理單元稱為一個注意力頭并并行重復(fù)多次這稱為多頭注意力。它通過組合多個類似的注意力計算結(jié)果增強(qiáng)了注意力機(jī)制的區(qū)分能力。查詢Query、鍵Key和值Value各自通過獨(dú)立的線性層各層具有自己的權(quán)重傳遞產(chǎn)生三個結(jié)果分別稱為Q、K、V。然后使用下面的注意力公式將這些結(jié)果組合起來生成注意力分?jǐn)?shù)。重要的是要認(rèn)識到Q、K、V值攜帶了序列中每個單詞的編碼表示。注意力計算隨后將序列中的每個單詞與其他單詞相結(jié)合使得注意力分?jǐn)?shù)為序列中的每個單詞編碼了一個分?jǐn)?shù)。之前在討論解碼器時我們簡要提到了掩碼。掩碼也顯示在上面的注意力圖中。讓我們看看它是如何工作的。注意力掩碼在計算注意力分?jǐn)?shù)時注意力模塊執(zhí)行一個掩碼步驟掩碼有兩個目的在編碼器的自注意力和編碼器-解碼器注意力中掩碼用于將輸入句子中填充部分的注意力輸出置為零以確保填充不參與自注意力計算。注意由于輸入序列長度可能不同它們通常會被擴(kuò)展為固定長度的向量以便輸入到Transformer中同樣地對于編碼器-解碼器注意力機(jī)制也是如此。在解碼器的自注意力中掩碼用于防止解碼器在預(yù)測下一個單詞時“偷看”目標(biāo)句子的其余部分。解碼器處理源序列中的單詞并使用它們來預(yù)測目標(biāo)序列中的單詞。在訓(xùn)練期間這通過Teacher Forcing實現(xiàn)即將完整的目標(biāo)序列作為解碼器輸入。因此在預(yù)測某個位置的單詞時解碼器可以使用該單詞之前的目標(biāo)單詞以及該單詞之后的目標(biāo)單詞。這允許解碼器通過使用未來“時間步”中的目標(biāo)單詞來“作弊”。例如在預(yù)測“單詞3”時解碼器應(yīng)僅參考目標(biāo)中的前3個輸入單詞而不應(yīng)參考第四個單詞“Ketan”。因此解碼器會屏蔽掉序列中后續(xù)出現(xiàn)的輸入單詞。在計算注意力分?jǐn)?shù)時參考之前顯示計算的圖片掩碼被應(yīng)用于Softmax之前的分子部分。被屏蔽的元素白色方塊被設(shè)置為負(fù)無窮大以便Softmax將這些值轉(zhuǎn)換為零。生成輸出堆疊中的最后一個解碼器將其輸出傳遞給輸出組件該組件將其轉(zhuǎn)換為最終輸出句子。線性層將解碼器向量投影為單詞分?jǐn)?shù)每個分?jǐn)?shù)對應(yīng)目標(biāo)詞匯表中每個唯一單詞在句子中每個位置的出現(xiàn)概率。例如如果我們的最終輸出句子有7個單詞目標(biāo)西班牙語詞匯表有10000個唯一單詞我們將為這7個單詞中的每一個生成10000個分?jǐn)?shù)值。分?jǐn)?shù)值表示詞匯表中每個單詞在該句子位置出現(xiàn)的可能性。然后Softmax層將這些分?jǐn)?shù)轉(zhuǎn)換為概率這些概率加起來等于1.0。在每個位置我們找到概率最高的單詞的索引然后將該索引映射到詞匯表中對應(yīng)的單詞。這些單詞隨后形成Transformer的輸出序列。訓(xùn)練與損失函數(shù)在訓(xùn)練期間我們使用如交叉熵?fù)p失這樣的損失函數(shù)來比較生成的輸出概率分布與目標(biāo)序列。概率分布給出了詞匯表中每個單詞在該位置出現(xiàn)的概率。假設(shè)我們的目標(biāo)詞匯表僅包含四個單詞我們的目標(biāo)是生成一個與目標(biāo)序列“De nada END”相匹配的概率分布。這意味著第一個單詞位置的概率分布中“De”的概率為1而詞匯表中其他所有單詞的概率均為0。類似地“nada”和“END”應(yīng)分別在第二個和第三個單詞位置具有概率為1。通常我們使用損失來計算梯度以通過反向傳播訓(xùn)練Transformer。結(jié)論希望這能讓你對Transformer在訓(xùn)練過程中的內(nèi)部工作機(jī)制有所了解。正如我們在上一篇文章中討論的那樣它在推理過程中會循環(huán)運(yùn)行但大部分處理過程保持不變。最后的最后感謝你們的閱讀和喜歡作為一位在一線互聯(lián)網(wǎng)行業(yè)奮斗多年的老兵我深知在這個瞬息萬變的技術(shù)領(lǐng)域中持續(xù)學(xué)習(xí)和進(jìn)步的重要性。為了幫助更多熱愛技術(shù)、渴望成長的朋友我特別整理了一份涵蓋大模型領(lǐng)域的寶貴資料集。這些資料不僅是我多年積累的心血結(jié)晶也是我在行業(yè)一線實戰(zhàn)經(jīng)驗的總結(jié)。這些學(xué)習(xí)資料不僅深入淺出而且非常實用讓大家系統(tǒng)而高效地掌握AI大模型的各個知識點(diǎn)。如果你愿意花時間沉下心來學(xué)習(xí)相信它們一定能為你提供實質(zhì)性的幫助。這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】大模型知識腦圖為了成為更好的 AI大模型 開發(fā)者這里為大家提供了總的路線圖。它的用處就在于你可以按照上面的知識點(diǎn)去找對應(yīng)的學(xué)習(xí)資源保證自己學(xué)得較為全面。經(jīng)典書籍閱讀閱讀AI大模型經(jīng)典書籍可以幫助讀者提高技術(shù)水平開拓視野掌握核心技術(shù)提高解決問題的能力同時也可以借鑒他人的經(jīng)驗。對于想要深入學(xué)習(xí)AI大模型開發(fā)的讀者來說閱讀經(jīng)典書籍是非常有必要的。實戰(zhàn)案例光學(xué)理論是沒用的要學(xué)會跟著一起敲要動手實操才能將自己的所學(xué)運(yùn)用到實際當(dāng)中去這時候可以搞點(diǎn)實戰(zhàn)案例來學(xué)習(xí)。面試資料我們學(xué)習(xí)AI大模型必然是想找到高薪的工作下面這些面試題都是總結(jié)當(dāng)前最新、最熱、最高頻的面試題并且每道題都有詳細(xì)的答案面試前刷完這套面試題資料小小offer不在話下640套AI大模型報告合集這套包含640份報告的合集涵蓋了AI大模型的理論研究、技術(shù)實現(xiàn)、行業(yè)應(yīng)用等多個方面。無論您是科研人員、工程師還是對AI大模型感興趣的愛好者這套報告合集都將為您提供寶貴的信息和啟示。這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】