簡(jiǎn)介Pylearn2是基于Python的深度學(xué)習(xí)框架由蒙特利爾大學(xué)MILA實(shí)驗(yàn)室開(kāi)發(fā)面向希望深入理解卷積神經(jīng)網(wǎng)絡(luò)、受限玻爾茲曼機(jī)等經(jīng)典模型的研究者與初學(xué)者。該安裝包為master源碼版本壓縮包共750個(gè)文件、約2.16MB文件構(gòu)成以Python源碼522個(gè)py、YAML配置70個(gè)yaml、純文本說(shuō)明51個(gè)txt為主另含CUDA內(nèi)核文件、Jupyter notebook示例及多個(gè)命令行輔助腳本如pylearn2-train、pylearn2-show-weights整體層次清晰、便于按需查閱。包內(nèi)附有conv.conf、mlp.conf等經(jīng)典模型配置以及Sphinx文檔源和樣式文件可支撐本地文檔二次構(gòu)建。解壓后進(jìn)入目錄執(zhí)行python setup.py install即可完成安裝適合在Anaconda管理環(huán)境中與Theano、NumPy、SciPy等依賴(lài)配合使用。目前已有269人學(xué)習(xí)下載對(duì)希望復(fù)現(xiàn)早期深度學(xué)習(xí)實(shí)驗(yàn)、梳理Pylearn2源碼結(jié)構(gòu)和訓(xùn)練流程的讀者而言是一份能夠快速上手的實(shí)用資源。 如果你還能搜到“pylearn2安裝包”這幾個(gè)字說(shuō)明你不是來(lái)懷舊的而是被某個(gè)老課程、某段論文復(fù)現(xiàn)代碼或者一臺(tái)老爺級(jí)別的服務(wù)器逼到了墻角。pylearn2 是 LISA 實(shí)驗(yàn)室開(kāi)源的深度學(xué)習(xí)框架底層構(gòu)建在 Theano 之上2015 年前后很多機(jī)器學(xué)習(xí)課程用它跑卷積網(wǎng)絡(luò)、自編碼器和受限玻爾茲曼機(jī)。如今官方文檔下線、網(wǎng)上各種下載鏈接紛紛失效所謂“pylearn2 安裝包”大多是特定環(huán)境下的產(chǎn)物直接拿來(lái)基本裝不上。這篇就把我從零裝一個(gè)可用 pylearn2 環(huán)境的完整過(guò)程記錄下來(lái)包括版本取舍、環(huán)境準(zhǔn)備、具體命令、報(bào)錯(cuò)繞過(guò)看完能少走很多彎路。1. pylearn2是什么為什么它的安裝包這么難找1.1 一段被深度學(xué)習(xí)框架迭代拋下的歷史pylearn2 出身于 LISA 實(shí)驗(yàn)室名字里的“pylearn”就是“Python learn”的意思。它和同時(shí)代的 Caffe、Torch7 一樣在深度學(xué)習(xí)爆發(fā)早期承擔(dān)了很多論文復(fù)現(xiàn)任務(wù)。它的設(shè)計(jì)方式很特別模型結(jié)構(gòu)、訓(xùn)練參數(shù)都寫(xiě)在 YAML 配置里跑實(shí)驗(yàn)時(shí)通過(guò)命令行工具加載這些配置而不是像現(xiàn)在這樣用 Python 腳本動(dòng)態(tài)構(gòu)建網(wǎng)絡(luò)。問(wèn)題出在它停止維護(hù)得太早。Theano 在 2017 年宣布停止開(kāi)發(fā)pylearn2 比 Theano 更早進(jìn)入半死狀態(tài)GitHub 上的 master 分支就成了事實(shí)上的最終版本。官方?jīng)]有發(fā)布過(guò)規(guī)范的 release 壓縮包也沒(méi)有提供面向現(xiàn)代系統(tǒng)的預(yù)編譯 wheel以前能用的官方示例和安裝指引大多散落在失效的 wiki 頁(yè)面里。所以現(xiàn)在搜“pylearn2 安裝包”能撈出來(lái)的大多是熱心網(wǎng)友整理的老壓縮包出處不明、環(huán)境不匹配下載下來(lái)反而更折騰。1.2 現(xiàn)在還在裝 pylearn2 的人一般是什么場(chǎng)景我總結(jié)下來(lái)主要有三類(lèi)人。第一類(lèi)是被老課程作業(yè)困住的學(xué)生課件和代碼模板都是 2015 年前后寫(xiě)的不裝 pylearn2 就跑不了實(shí)驗(yàn)。第二類(lèi)是復(fù)現(xiàn)老論文的研究者尤其是做無(wú)監(jiān)督學(xué)習(xí)、稀疏編碼、RBM 這類(lèi)的文章代碼倉(cāng)庫(kù)直接指向 pylearn2。第三類(lèi)是在維護(hù)舊服務(wù)器的人某些內(nèi)部工具鏈還是 Theano pylearn2 的組合不能輕易重構(gòu)遷移只能在一個(gè)隔離環(huán)境里把它重新咬合起來(lái)。這篇文章的核心就是給這三類(lèi)人一個(gè)可以直接照著操作的方案。重點(diǎn)不是把 pylearn2 講得多深而是讓你在一臺(tái)干凈的機(jī)器上從空環(huán)境開(kāi)始真正把“import pylearn2”跑通。2. 安裝pylearn2之前先搞清這3個(gè)關(guān)鍵環(huán)境問(wèn)題2.1 Python版本老老實(shí)實(shí)用Python 2.7pylearn2 的源碼是純粹的 Python 2 寫(xiě)法print 還是語(yǔ)句而不是函數(shù)Python 3 環(huán)境下就連解析語(yǔ)法都會(huì)直接拋 SyntaxError。所以不要心存僥幸第一件事就是準(zhǔn)備好一個(gè) Python 2.7 的隔離環(huán)境。為什么強(qiáng)調(diào)“隔離”因?yàn)楝F(xiàn)在很多機(jī)器的系統(tǒng) Python 是 3.8 甚至更高直接修改系統(tǒng)環(huán)境很容易把系統(tǒng)工具鏈弄壞。我推薦用 conda 來(lái)創(chuàng)建環(huán)境理由有三個(gè)conda 能精確指定 Python 2.7它能同時(shí)幫我們解析出與該 Python 版本匹配的 numpy、scipy環(huán)境目錄獨(dú)立刪掉也方便不影響機(jī)器其他項(xiàng)目。有同學(xué)可能會(huì)問(wèn)Python 2.7 不是早就停止維護(hù)了嗎是的但 conda 社區(qū)仍然把這套老 Python 的包管理得很好在 conda-forge 頻道里能找到完整可用的 Python 2.7 環(huán)境。第一次創(chuàng)建時(shí)如果提示找不到包加上-c conda-forge再試一次基本就解決了。2.2 Theano版本別用新版選0.8.2pylearn2 是 Theano 的上層封裝兩者耦合非常深。Theano 后續(xù)版本做過(guò)大量接口調(diào)整而且它自己也已經(jīng)停止維護(hù)所以新版 Theano 和 pylearn2 之間會(huì)出現(xiàn)各種接口不匹配。我在測(cè)試時(shí)先用默認(rèn)的 Theano 1.0.x 嘗試跑通結(jié)果報(bào)了一堆類(lèi)似AttributeError和配置項(xiàng)不存在的問(wèn)題后來(lái)切回 Theano 0.8.2同樣一段代碼就穩(wěn)定運(yùn)行?？梢赃@么理解pylearn2 和 Theano 0.8.2 是“同一個(gè)時(shí)代”的產(chǎn)物而 Theano 1.0.x 已經(jīng)改了太多底層的默認(rèn)行為。所以無(wú)論你在哪個(gè)操作系統(tǒng)上裝Theano 版本都建議釘死在 0.8.2不要手滑升級(jí)。2.3 操作系統(tǒng)選型Windows下最好繞道從安裝難度來(lái)說(shuō)Linux 最省事Ubuntu 20.04 這類(lèi)環(huán)境里基本一次通過(guò)。macOS 也不是不行但較新版本的 macOS 對(duì) Python 2.7 兼容性已經(jīng)很差編譯擴(kuò)展模塊時(shí)經(jīng)常碰到各種亂七八糟的鏈接錯(cuò)誤如果你不是非要在 Mac 上跑建議直接放棄。Windows 更麻煩Theano 0.8.2 在 Windows 上編譯 C 代碼依賴(lài)完整的 C 工具鏈裝起來(lái)非常容易卡住。如果你手里只有 Windows 機(jī)器我的建議是裝一個(gè) WSL 或者虛擬機(jī)在 Ubuntu 環(huán)境里完成安裝。這套方案我實(shí)測(cè)下來(lái)最穩(wěn)也能避免各種文件路徑和編譯器問(wèn)題。3. pylearn2安裝實(shí)操?gòu)目窄h(huán)境到import成功3.1 第一步用conda創(chuàng)建Python 2.7隔離環(huán)境打開(kāi)終端執(zhí)行兩行基礎(chǔ)命令conda create -n pylearn2 python2.7 -y conda activate pylearn2-n pylearn2是給環(huán)境取名字你可以換成一個(gè)你容易記的名字-y是跳過(guò)確認(rèn)提示省得再敲一次 y。激活成功后終端前綴會(huì)變成(pylearn2)這意味著你當(dāng)前所有命令都發(fā)生在這個(gè)虛擬環(huán)境里盡量保證整個(gè)安裝過(guò)程都在這個(gè)前綴下操作。如果你的 conda 版本比較新創(chuàng)建時(shí)可能會(huì)提示PackagesNotFoundError: python2.7。不用慌在命令末尾加上-c conda-forge也就是conda create -n pylearn2 python2.7 -c conda-forge -yconda-forge 是老軟件包聚合得比較全的社區(qū)頻道Python 2.7 這種老版本基本都能找到。3.2 第二步安裝numpy、scipy、PyYAML等基礎(chǔ)依賴(lài)創(chuàng)建完環(huán)境后先不要急著裝 pylearn2pylearn2 依賴(lài)的基礎(chǔ)庫(kù)如果版本不對(duì)后面做什么都白搭。直接把最核心的幾個(gè)依賴(lài)通過(guò) conda 裝好conda install numpy scipy pyyaml matplotlib -y這一步里 conda 會(huì)自動(dòng)幫你選到和 Python 2.7 匹配的舊版本 numpy大體是 1.16.x 系列、scipy 和 PyYAML。千萬(wàn)不要手動(dòng)用pip install numpy去強(qiáng)裝新版新版本的 numpy 已經(jīng)完全不支持 Python 2.7就算裝進(jìn)去也無(wú)法導(dǎo)入。matplotlib 不是 pylearn2 強(qiáng)制依賴(lài)但它的官方示例腳本里有不少畫(huà)圖操作順手裝上能省去后面補(bǔ)依賴(lài)的麻煩。3.3 第三步安裝Theano 0.8.2并做好基礎(chǔ)配置基礎(chǔ)依賴(lài)就緒后安裝指定版本的 Theanopip install theano0.8.2如果 pip 在當(dāng)前渠道找不到這個(gè)版本可以改用 Git 方式安裝對(duì)應(yīng)標(biāo)簽pip install githttps://github.com/Theano/Theano.gitrel-0.8.2接下來(lái)需要配置 Theano 的運(yùn)行參數(shù)。pylearn2 在早期默認(rèn)使用 32 位浮點(diǎn)數(shù)而部分 new 版本 Theano 默認(rèn)可能是float64兩者的訓(xùn)練結(jié)果和代碼習(xí)慣會(huì)不一樣。建議新建一個(gè) Theano 配置文件讓默認(rèn)環(huán)境更貼近老代碼的運(yùn)行習(xí)慣mkdir -p ~/.theano cat ~/.theanorc EOF [global] floatX float32 device cpu EOF這里我特別把device設(shè)置成了cpu。新手剛開(kāi)始不要嘗試配置device cuda因?yàn)?pylearn2 年代和現(xiàn)行 CUDA 版本的適配非常復(fù)雜沒(méi)有匹配的編譯環(huán)境時(shí)Theano 會(huì)在第一次運(yùn)行時(shí)報(bào)出特別嚇人的編譯失敗直接會(huì)讓整個(gè)安裝過(guò)程卡住。先在 CPU 上跑通邏輯等哪天真需要 GPU 了再去折騰也不遲。3.4 第四步獲取pylearn2源碼并安裝pylearn2 沒(méi)有官方編譯好的 wheel 安裝包最可靠的“安裝包”就是 GitHub 上的源碼包。推薦用 git 拉取git clone https://github.com/lisa-lab/pylearn2.git cd pylearn2 python setup.py develop如果確實(shí)不方便使用 git也可以打開(kāi) GitHub 倉(cāng)庫(kù)頁(yè)面點(diǎn)擊 Code 按鈕選擇 Download ZIP把 master 分支的壓縮包下載到本地解壓進(jìn)入解壓目錄后同樣執(zhí)行python setup.py develop。我為什么推薦develop而不是install因?yàn)閐evelop是開(kāi)發(fā)模式python 會(huì)把當(dāng)前目錄鏈接到 site-packages 里后續(xù)你從 GitHub 更新代碼不需要重新安裝就能生效。當(dāng)然它要求當(dāng)前環(huán)境有 setuptoolsconda 的 Python 2.7 環(huán)境里默認(rèn)是帶了的。如果develop命令報(bào)錯(cuò)退而求其次執(zhí)行python setup.py install也能完成安裝。3.5 第五步驗(yàn)證安裝是否真的成功安裝完不能光看提示直接跑一條命令確認(rèn)模塊能正常導(dǎo)入python -c import pylearn2; print(pylearn2.__file__)如果能看到一行類(lèi)似.../site-packages/pylearn2/__init__.py的路徑說(shuō)明 pylearn2 已經(jīng)成功裝進(jìn)當(dāng)前環(huán)境。再順手驗(yàn)證一下 Theano 編譯鏈?zhǔn)欠裾９ぷ鱬ython -c import theano; from theano import tensor as T; xT.scalar(x); ftheano.function([x], x*2); print(theano ok:, f(3))如果終端輸出theano ok: 6.0而不是一長(zhǎng)串錯(cuò)誤說(shuō)明 Theano 的 C 代碼編譯鏈路也是好的接下來(lái)可以正常跑 pylearn2 的實(shí)驗(yàn)了。4. 安裝和第一次使用時(shí)最容易踩的坑4.1 報(bào)錯(cuò)“No module named pylearn2”這個(gè)報(bào)錯(cuò)最常見(jiàn)的兩個(gè)原因第一是當(dāng)前根本沒(méi)激活 conda 環(huán)境你在系統(tǒng) Python 下執(zhí)行了 import第二是進(jìn)了 pylearn2 源碼目錄卻沒(méi)有執(zhí)行setup.py develop或install。我的習(xí)慣是每換一個(gè)終端都先看一眼提示符前面有沒(méi)有(pylearn2)再跑python --version確認(rèn)版本這樣能避免大量低級(jí)錯(cuò)誤。4.2 在Python 3環(huán)境下直接SyntaxErrorpylearn2 的源碼在 Python 3 下連語(yǔ)法解析都過(guò)不去報(bào)錯(cuò)會(huì)直接指向某個(gè).py文件的 print 語(yǔ)句。解決方法不是去逐行改源碼而是回到 Python 2.7 環(huán)境。很多人一開(kāi)始沒(méi)意識(shí)到這一點(diǎn)還以為是自己系統(tǒng)缺了什么包。記住一條這個(gè)項(xiàng)目就是 Python 2 紀(jì)元的產(chǎn)物我們只能去適配它不要試圖讓它兼容現(xiàn)代 Python否則越改越亂。4.3 Theano第一次運(yùn)行時(shí)報(bào)編譯失敗Theano 有一個(gè)特性第一次運(yùn)行某些函數(shù)時(shí)會(huì)把計(jì)算圖編譯成 C 代碼所以首次執(zhí)行往往會(huì)等待較長(zhǎng)時(shí)間也有可能直接報(bào)編譯錯(cuò)誤。常見(jiàn)原因有兩個(gè)一是系統(tǒng)缺少 gcc 等編譯工具Linux 下可以用sudo apt install build-essential裝好再試二是配置里把 device 設(shè)成了 gpu而機(jī)器沒(méi)有對(duì)應(yīng) CUDA 工具鏈。建議按照前面第 3.3 節(jié)的配置先把 device 設(shè)成 cpu跑通一遍再考慮更高級(jí)的環(huán)境。4.4 數(shù)據(jù)集下載一直超時(shí)或卡死pylearn2 自帶的數(shù)據(jù)集腳本默認(rèn)會(huì)去老服務(wù)器下載數(shù)據(jù)比如 MNIST 的 pkl 文件服務(wù)器年代久遠(yuǎn)連接超時(shí)很常見(jiàn)。遇到這種情況不必懷疑安裝有問(wèn)題而是走手動(dòng)下載的路子把數(shù)據(jù)集文件放到某個(gè)本地目錄再用 pylearn2 的數(shù)據(jù)集配置或 PYTHONPATH 指定這個(gè)目錄。初次接觸時(shí)建議先跑官方 examples 里不需要大數(shù)據(jù)的簡(jiǎn)單模型把安裝鏈路驗(yàn)證清楚再碰數(shù)據(jù)集。4.5 千萬(wàn)別亂下載網(wǎng)上的一鍵安裝包我明白搜“pylearn2 安裝包”的人很多是想找個(gè)現(xiàn)成壓縮包直接解壓就能用。但從我實(shí)際經(jīng)驗(yàn)看這條路通常更坑。Python 環(huán)境的組合實(shí)在太多別人打包時(shí)用的 numpy 版本、Theano 版本、Python 小版本和你本機(jī)稍微不一樣import 階段就會(huì)崩。與其下載來(lái)路不明的預(yù)編譯包不如老老實(shí)實(shí)按上面的源碼安裝步驟二十分鐘內(nèi)一定能走通。如果你真的有離線安裝需求正確做法也不是去找別人做好的包而是自己找一臺(tái)能聯(lián)網(wǎng)的機(jī)器先把整個(gè) conda 環(huán)境建好然后用conda pack或conda env export把環(huán)境導(dǎo)出再到目標(biāo)機(jī)器上重建。這樣導(dǎo)出的才是真正匹配你項(xiàng)目的“安裝包”。5. 裝完之后的一點(diǎn)建議整套環(huán)境好不容易跑通后建議立刻把環(huán)境依賴(lài)鎖定下來(lái)。在(pylearn2)環(huán)境里執(zhí)行conda env export pylearn2_env.yml這個(gè) YAML 文件會(huì)把當(dāng)前環(huán)境里的 Python 版本、numpy、scipy、Theano、pylearn2 的依賴(lài)關(guān)系全部記錄下來(lái)。以后換機(jī)器只需要conda env create -f pylearn2_env.yml就能重建一個(gè)幾乎一模一樣的環(huán)境這是對(duì)付老庫(kù)最省心的備份手段。我自己的體會(huì)是和 pylearn2 死磕的這段時(shí)間雖然折騰但反而讓我想通了很多深度學(xué)習(xí)框架的底層邏輯計(jì)算圖怎么構(gòu)建、配置文件和代碼怎么分離、訓(xùn)練循環(huán)和模型定義怎么組織?，F(xiàn)在新框架把這些都封裝得越來(lái)越簡(jiǎn)單回頭再看 Theano 時(shí)代的代碼會(huì)有一種豁然開(kāi)朗的感覺(jué)。如果你只是為了完成作業(yè)我建議裝好后照著官方 examples 跑通一個(gè)最簡(jiǎn)單的 MLP 就收手不必在復(fù)雜的調(diào)參上耗費(fèi)太多時(shí)間。畢竟這個(gè)框架已經(jīng)完成了它的歷史使命能用起來(lái)解決眼前的舊項(xiàng)目任務(wù)就已經(jīng)值回票價(jià)了。本文還有配套的精品資源點(diǎn)擊獲取